AI教父”约书亚·本吉奥成立LawZero，致力于开发安全“科学家AI”系统

在当今人工智能技术迅猛发展的时代，安全与伦理问题的关注度日益提高。当地时间6月3日，被誉为“AI教父”的图灵奖得主约书亚·本吉奥（Yoshua Bengio）成立了一家非营利组织LawZero，专注于研发一种名为“科学家AI”（Scientist AI）的新型人工智能系统，以应对当前AI发展带来的多重挑战。

LawZero获得了约3000万美元的初始资金，这笔资金来自未来生命研究所（Future of Life Institute）、Skype联合创始人贾恩·塔林（Jaan Tallinn）以及由谷歌前CEO施密特创立的科学研究所（Schmidt Sciences）等多方机构。该组织的核心使命是开发“诚实”的AI系统，旨在有效应对现有AI模型所带来的欺骗、自我保护和不遵守关机指令等潜在安全隐患。

与强调盈利和市场导向的OpenAI不同，LawZero更注重独立性，并坚持拒绝商业资本的干预。这种模式有助于确保其研究方向不受市场产品路线图的影响，使得研究人员能够专注于AI安全问题的纯粹研究与技术开发。

“科学家AI”的设计理念与当前主流的生成式AI模型形成鲜明对比。传统的生成式AI通常以模仿人类行为或最大化奖励为目标，而“科学家AI”则更强调通过“贝叶斯推理”来提供对世界的解释和预测。这种方法注重对不确定性的识别，以及透明的推理过程，体现了一种更为科学和谨慎的思考方式。约书亚·本吉奥称这种系统类似于心理学家，能够有效识别和预测自主AI系统可能导致的有害行为，并在必要时采取措施阻止这些行为的发生。

领域的杰出先驱，本吉奥因其在深度学习、生成模型、无监督学习及反向传播算法等领域的卓越贡献而广受关注。不过，他对AI技术发展的忧虑也是众所周知的。他指出，当前AI行业在不断提高技术能力的同时，往往忽略了安全研究的重要性，而这一趋势可能导致人类在面对AI系统时失去控制，甚至引发灾难性后果。

从技术角度来看，本吉奥强调，未来的AI安全技术必须能够在通用人工智能（AGI）与超级人工智能（ASI）阶段仍然有效。这包括针对潜在危险能力的评估、检测和缓解，以及设计可控且安全的AI系统。他认为，现有AI训练方法可能潜藏问题，特别是强化学习等方法可能会导致目标设定不当和泛化能力不足。他提倡研发不具备自主行动能力的AI系统，这些系统将专注于提供可靠的世界解释和预测，从而降低潜在风险。

本吉奥并不是唯一对AI未来持怀疑态度的专家。特斯拉CEO埃隆·马斯克曾预言，到2029年，人工智能将超越人类智慧的总和，并且有20%的可能性导致文明灭绝。同时，另一位图灵奖得主杰弗里·辛顿（Geoffrey Hinton）也曾将AI导致人类灭绝的风险预测从之前的10%上调至“10%-20%”。

预警，约书亚·本吉奥成立LawZero的目标在于引发全球范围内对于AI安全问题的深入关注。他希望通过“科学家AI”这一项目，提高公众对AI技术发展潜在风险的认识，确保AI的发展不对人类构成威胁。

科技的核心使命应该是推动人类的进步，而不是带来不可控的风险。在这个迅速变化的时代，LawZero的成立标志着在AI安全领域迈出了重要一步。这不仅是对未来AI发展的考量，更是对全人类未来的责任。本吉奥和他的团队正在努力构建一个更可靠、更安全的AI未来，以期待在技术与伦理之间找到平衡点，保证科技的发展始终服务于人类的利益。

“科学家AI”不仅是一种技术创新，更是一种对于未来的展望和承诺，力求建立一个为人类未来铺就安全与和谐的AI生态系统。希望在不久的将来，这种系统能够为其他领域的AI技术开发提供宝贵的参考，以确保我们在追逐技术进步的同时，始终保持对其潜在影响的清醒认识和审慎应对。