未来2-3年智能爆炸概率上升至5%：AI自我改进路径探索

作者：Chris Paxton，机器人学家与人工智能研究员，曾在英伟达与Meta FAIR工作。

随着人工智能（AI）不断发展，越来越多关于自我改进AI的研究论文涌现，agentic AI的能力也在不断增强。AI行业领导者对失业和未来的看法变得越来越极端。这意味着什么呢？

最近，AI代理逐渐渗透到不同领域，而AI行业领导者的预测却愈加夸张。这在某种程度上是市场营销策略的结果，因为AI公司希望通过夸大技术能力来推广自己的产品。AI技术的现实增长说明我们不能忽视潜在的变化。比如，有报道称OpenAI召集了一批数学家，希望为其最新模型设计出更具挑战性的问题，但其努力大多都未能取得成功。

在关于未来的讨论中，一本名为《AI 2027》的书绘制了一个令人深思的场景：随着AI代理技术变得愈加成熟，可能会出现一种能够引发“智能爆炸”的AI。这种智能爆炸不仅可能导致大规模失业，也可能允许AI管理的工厂每月生产百万台机器人。这令人不禁思考，这种未来出现的可能性到底有多大？

我认为，如果在未来的2-3年内我们希望看到“智能爆炸”的现实，目前的研究趋势就应该开始显露出其重要性。在这篇文章中，我将探讨一些关于当前自我改进系统的研究论文，以及它们可能对未来产生的影响。

我们应关注推理型大型多模态模型的自我改进能力。这类系统能够通过反复自练习，逐步完成复杂问题的解答。值得注意的是，现在的AI系统已经能够执行推理、规划和任务追求，另一方面，完整的agentic系统能够根据自身代码进行更新，从而不断提升解决更复杂问题的能力。

近年来，我们已经看到了越来越多的AI代理具备自主执行长期和多步骤任务的能力，例如BUMBLE系统。现今的多模态特性使得这些AI代理能够更好地为人类用户设计自然界面，它们在执行任务时又面临着复杂性和潜在失败的挑战。

为了提升这些系统的性能，实现智能革命，我们需要探讨改进agentic系统所依赖的Transformer模型，以及这些系统的整体能力。

构建自我改进的Transformer模型是其中一个基础步骤。可以想象以下过程：选择一个强大的基础模型，生成具有挑战性的问题集，通过投票等方式筛选出优质答案，新的优解进行训练，并不断循环。

值得一提的是强化学习（RL）能够帮助我们实现这一目标。尽管强化学习在许多领域仍面临挑战，但当有明确可验证的领域时，例如数学或编程，它能通过不断自我改进来产生更通用的推理能力。通过利用可验证奖励，我们可以更有效地评估LLM生成的解决方案，并利用强大的基础模型不断优化结果。

接踵而来的挑战在于，许多方法在实际应用中存在不一致性。例如，研究发现深度学习模型在进行自我改进时，可能会面临学习目标不易定义的情形。因此，我们需要寻找可学习的奖励信号，以更好地引导AI代理的自我改进。

面对这些挑战，我们也看到了诸多有趣的研究与实践。比如，SEAL技术通过生成数据增强方案来解决抽象推理问题，展示了AI在自我改善方面的潜力。来自Sakana AI的研究则探索了通过自我编写代码来增强AI的能力，这表明行业正在朝着智能自我改进的方向努力。

尽管当前的研究成果仍显得初步，我们的确看到了许多值得关注的进展。借助基础模型的不断提升，未来2-3年内“智能爆炸”的概率约为5%。虽然这个数字并不算高，但它比之前有所上升。

未来的AI发展充满了不确定，但自我改进技术的发展趋势会持续推动行业的演进。因此，我们应保持开放的心态，密切关注这些动态，最终迎来潜在的智能爆炸。

我们不妨问自己：在AI的不断演化中，我们能否找到路径，引导这股力量走向更加积极的方向？如果可以，相信科技给我们带来的，绝不会仅仅是失业，而是更多的机遇与挑战。

整体而言，未来的AI世界充满挑战和机遇，而如何在自我改进的路径中找到平衡，将是我们这个时代的重要议题。