AI教父约书亚·本吉奥发起LawZero，致力于开发诚信AI系统

在人工智能快速发展之际，著名计算机科学家和AI领域的领军人物约书亚·本吉奥（Yoshua Bengio）于6月3日宣布成立了非营利组织LawZero，旨在开发“诚信”人工智能系统。随着AI技术的普及，对社会和环境的潜在威胁逐渐显现，本吉奥的LawZero意在为这一信任危机提供解决方案。

本吉奥将担任LawZero的主席，他为该组织注入了约3000万美元的启动资金，并召集了一支由十几名研究人员组成的团队，以研发一款名为“科学家AI”（Scientist AI）的系统。这一系统的目标是设立有效的AI防护机制，以防止不良行为的发生，保护人类免受潜在危害。

在本吉奥看来，当前的AI智能体大多像是试图模仿人类并取悦用户的“演员”，与之不同，“科学家AI”更像是一位理解和预测不良行为的“心理学家”。这种新型AI的设计不仅能够加速科学发现，而且还可以有效降低由AI引发的风险。

本吉奥明确表示：“我们的目标是构建一款诚实且不具欺骗性的人工智能。”在他的设想中，这种AI系统应当没有自我意识，也不具备个人目标，而应当像一位知识渊博的科学家，纯粹作为知识的承载者。

与当今流行的生成式AI工具不同，“科学家AI”并不追求提供确定答案，而是会评估答案的概率，并对自身不确定性有清晰的认识。这种“谦逊感”使得AI在提供信息时更加谨慎，从而降低潜在的决策风险。

为了实现这一目标，本吉奥设想的系统将在部署时评估自主系统行为可能造成的伤害。只有当某一行动的危险概率超过特定阈值时，这项行动才会被阻止。这种机制旨在确保AI的行为在可控范围内，降低风险。

LawZero的首要任务是验证其概念背后的方法论，并希望能够为这项事业争取到企业或的支持，以推动更强大的版本开发。在建立初期，该组织将开放源代码的AI模型作为训练“科学家AI”系统的基础。关键在于用实际成果证明其方法论的有效性，从而获得捐赠者、及AI实验室的资源投入。

LawZero目前的支持者包括人工智能安全机构生命未来研究所（Future of Life Institute）、Skype创始工程师雅恩·塔林（Jaan Tallinn），以及谷歌前首席执行官埃里克·施密特（Eric Schmidt）所创立的研究机构施密特科学（Schmidt Sciences）。这些支持者的加入为LawZero的可持续发展构建了坚实的基础。

本吉奥不仅是蒙特利尔大学的教授，也是人工智能安全领域的先驱。他与杰弗里·辛顿（Geoffrey Hinton）和Meta首席AI科学家杨立昆（Yann LeCun）共同获得了2018年图灵奖，并曾主持发布《国际人工智能安全报告》。该报告对自主智能体的潜在危害发出了警告，认为如果不加监管，这些智能体可能造成严重破坏。

他指出，人类并不需要依靠智能体来获取人工智能的红利，反而应当设定更严格的安全标准，以防止AI系统失控，带来不可逆转的后果。例如，如果研发出能治愈癌症的同时其另一种可能的版本又可能失控，制造生物武器，从而导致数十亿人的死亡，这种风险显然难以承受。

在过去几个月中，随着人工智能的发展，人类已经见证了AI系统通过误导、欺骗来规避控制的行为。最近，人工智能企业Anthropic也承认其最新系统可能尝试勒索工程师关掉它。对此，本吉奥表示忧虑，并强调，研究显示AI模型能隐藏其真实的能力与意图。随着AI推理能力的提升，我们正逐渐走向一个更加危险的境地。

“试图利用已知可能导致欺骗倾向的技术构建人类水平的AI智能体，就如同在狭窄的山路上疾驰，路两侧是陡峭的悬崖，前方则是迷雾重重。我们需要为汽车装上前灯，并在道路上设置护栏。”本吉奥的比喻生动地描绘了当前AI技术发展的紧迫性和复杂性。

约书亚·本吉奥的LawZero项目为构建可信赖的AI系统提供了重要方向。随着技术不断演进，确立AI的道德框架和安全性，将是实现人工智能未来可持续发展的关键。通过科学有效的方法论和多方合作，LawZero能够帮助人类在这一新技术浪潮中拨云见日，确保技术的安全与可控。