Nous Research推出全球最大规模去中心化AI预训练模型
时间:2025-06-14 19:05
小编:小世评选
在人工智能(AI)快速发展的今天,Nous Research近期宣布推出了一项具有划时代意义的技术,成功实现了全球规模最大、去中心化的大语言模型预训练。通过利用区块链技术,Nous Research所构建的Psyche网络汇聚了全球各地的计算资源,开启了40亿参数大语言模型Consilience的预训练任务,打破了网络上预训练的记录,体现出去中心化训练的巨大潜力。
Psyche网络的核心在于通过有效地整合全球闲置的计算资源(如消费级GPU),大幅度降低了AI模型训练的成本。传统上,训练先进的AI模型需要数千个高性能的GPU和超高带宽的计算集群,这让许多普通研究者和小型团队望而却步。这样的集中化趋势不仅限制了创新,也有可能导致少数科技巨头将更多的权力集中于掌控AI技术甚至人类社会。因此,Nous Research借助去中心化的训练模式,希望在新的篇章中打破这一局限。
大语言模型Consilience所采用的DeepSeek V3多头潜在注意力(MLA)架构,较之于Llama所使用的GQA架构,在表达能力上更加出色,同时在处理计算开销时也有更优的优化表现。这一系列技术进展确保了即使在有限的基础设施条件下,AI模型训练依然可以进行得更加高效。而这一切的背后,正是Nous Research所开发的DisTrO优化器技术,成功解决了带宽瓶颈问题,使得分布式训练成为现实。
在去中心化训练的探索过程中,带宽是最受关注的挑战之一。传统的数据中心通过高速连接如NVLink和InfiniBand实现高达几百Gb/s的带宽,但志愿者节点的连接则可能仅限于几十到几百Mb/s的速度。这种差异被认为会使跨互联网的AI训练变得极为缓慢。Nous Research的DisTrO技术允许所有训练节点同时降低所需带宽,极大地提高了训练效率。
随着去中心化AI训练模式的兴起,Nous Research的Psyche网络也成为了一个开放的。任何个人或组织都可以贡献计算资源,降低了人们参与AI模型训练的门槛,推动了全球范围内合作与创新的发展。Piscyhe网络不仅仅是AI技术进步的工具,也可能成为未来小型团队和开源社区与科技巨头抗衡的重要力量。
同时,Nous Research在探索区块链技术与AI结合过程中,逐渐认识到区块链所带来的多重优势。通过迁移技术栈到区块链,Nous Research希望充分利用区块链的以下特点:任何人均可贡献计算资源,摒弃中心化基础设施,以及协调与奖励为网络贡献者提供的激励机制。这种创新模式的实施,意味着任何愿意参与的人都可以成为网络的一部分,参与未来AI的进步与发展。
展望未来,Nous Research计划逐步将Psyche网络扩展到更高级的功能,并在Phase 0阶段允许贡献者携带自己的GPU参与训练,并获取奖励。随着系统的稳定运行,不同类型的计算资源能够自主接入网络,助力训练如Llama和Diffusion等多种模型架构。更值得一提的是,Psyche网络在预训练阶段将不再依赖于预先准备的数据集,而是通过模型与环境进行互动,在不断的学习中推进模型的进化,真正实现AI的自主学习与成长。
随着去中心化AI训练的发展,Nous Research不仅希望证明这一模式的可行性,同时也向他们的初心回归:推动技术的民主化,实现每个人都能够参与到更大规模的AI训练中来。通过打破传统科技垄断的壁垒,Nous Research正努力推动实现一个更加开放的AI时代,将创新的火花带给广泛的科研群体和爱好者。
Nous Research推出的Psyche网络和Consilience模型的成功预训练,不仅是去中心化AI训练的里程碑,也为未来的AI民主化和全球协作开辟了新的可能性。在这一历史性的时刻,Psyche网络正如一缕春风,唤醒着全球范围内对技术创新的渴望,期待我们的世界因AI的进步而更加美好。