免费安卓手游下载、分享游戏攻略、电脑硬件资讯、数码科技最新资讯
当前位置: 首页 > 硬件资讯 > 全球首个分布式强化学习模型INTELLECT-2发布,打破算力垄断

全球首个分布式强化学习模型INTELLECT-2发布,打破算力垄断

时间:2025-05-18 02:40

小编:小世评选

在人工智能领域,算力的集中控制一直以来都是制约创新和发展的瓶颈。最近发布的INTELLECT-2模型改变了这一情况,开创了全球首个分布式强化学习(RL)训练的里程碑。通过整合全球分散和闲置的计算资源,INTELLECT-2显著降低了模型训练的成本,并在性能上与顶尖模型DeepSeek-R1相当。此举标志着强化学习训练逐步摆脱对集中式算力的依赖,可能会终结大型企业独占算力资源的时代。

INTELLECT-2的发布引发了广泛关注,这一模型的成功并非偶然。根据开发团队的介绍,从模型强化学习框架prime-rl的构建到最终的发布,仅用了两个月的时间。其中,19个个人和机构提供了算力支持,开发者们通过资产整合将全球范围的闲置算力聚集在一起,形成了一个庞大的训练网络。众多行业知名人士,如Karpathy、FlashAttention的作者Tri Dao以及HuggingFace的联合创始人Clem Delangue等,也对这一项目的融资表现出了兴趣,进一步显示了INTELLECT-2的前景。

INTELLECT-2采用了分布式异步强化学习的范式,可以被视为一个大型的众包项目,任何有闲置计算资源的人都可以参与其中。异步机制允许不同阶段的计算独立、并行进行,从而使得各种性能的计算设备可以同时发挥作用。系统会先利用贡献者提供的异构算力生成推理数据,再将验证过的数据汇集至中心,用于更新模型策略,并向每个节点分发新的策略,开启新一轮的训练。

这一过程中包含了四大关键组件。PRIME-RL框架解耦了推理数据的生成和模型训练,支持异步执行;SHARDCAST则负责将更新后的模型参数高效地分发至全球各个推理节点,确保数据传输的稳定性;TOPLOC则通过密码学和可验证计算等技术,确保每个推理节点提交的数据的可信性;,Testnet作为这一切的基础设施,为全球范围的计算资源管理和任务调度提供统一接口。

INTELLECT-2的设计和实现表明了团队在分布式训练上深厚的积累。不同于传统的集中训练,INTELLECT-2在每个节点上可以独立地生成推理数据,避免了节点间的协调等待,这一机制大大提高了计算和训练的效率。在实际实验中,INTELLECT-2成功实现了通信和计算的重叠,并且通过SHARDCAST 网络,数据传输的平均耗时低至14分钟,带宽吞吐量高达590Mb/s。

队伍的背景同样亮眼,他们来自位于旧金山的Prime Intellect公司,其创始人Vincent Weisser和联创兼CTO Johannes Hagemann,均有着丰富的创业和科研经历。为了推动这一创新,Prime Intellect在今年初获得了1500万美元的新投资,投资者包括AI领域的多位大咖。总计超过2000万美元的资金为团队未来的任务提供了保障。

随着INTELLECT-2的问世,业界普遍看好未来顶级开源模型将以分布式方式进行训练,用户的参与度将显著提升。这一分布式训练新范式不仅降低了进入门槛,也为鼓励人才和资源的广泛参与提供了土壤,前所未有的方式或将激发出更多优质的模型和应用。

INTELLECT-2目前已支持网页端体验,用户只需注册便可体验其丰富的功能。尽管当前模型的稳定性仍有待提高,但同样带来了不少惊喜。其在数学和编程能力方面的进步,预示着未来在各领域的广泛应用潜力。随着技术的不断演进,INTELLECT-2的发布不仅是一次范式的转变,更是一次对整个AI领域的挑战与机遇。

在的计划中,Prime Intellect团队将致力于提高推理-训练计算的比例,并进一步整合各种工具,以提升模型的灵活性和实用性。同时,他们亦有意拓展计算市场,推动去中心化训练的发展。从长远来看,INTELLECT-2有望在众包AI训练、数据隐私保护和算力利用等方面推动行业的革命。

INTELLECT-2的发布为AI领域带来了一股新风潮,如何把握这一机会,将关系到未来技术发展的方向与深度。全面的去中心化机制、强大的模型能力以及融资的广泛认可,标志着智能技术的民主化进程将加速推进。

精品推荐

相关文章

猜你喜欢

更多

热门文章

更多