AI教父”约书亚·本希奥成立LawZero组织 研发“诚实”AI监控系统

近年来，人工智能的迅猛发展为我们带来了无限可能，但同时也伴随着一系列潜在的伦理和安全问题。为了应对这些挑战，著名人工智能专家、被誉为“AI教父”的约书亚·本希奥（Yoshua Bengio）于近期成立了一个名为LawZero的非营利组织。该组织的使命是研发一种“诚实”的人工智能监控系统，以确保那些能够自主执行任务的AI智能体不表现出欺骗或自我保护的行为。

约书亚·本希奥教授是蒙特利尔大学的教授，他与Geoffrey Hinton和Yann LeCun共享了2018年图灵奖，这一荣誉在计算机科学界被誉为“诺贝尔奖”。本希奥的研究一直集中在深度学习和神经网络领域，他的贡献推动了人工智能技术的边界，在全球范围内享誉盛名。

LawZero的核心目标是创建一个名为Scientist AI的系统，作为AI智能体的“守卫”。本希奥将目前的AI智能体比作“演员”，它们的功能是模仿人类行为，试图满足用户的需求。Scientist AI则分别是一个“心理学家”，它的目标是理解和预测AI智能体可能出现的不良行为。该系统将重点监控那些在没有人类干预的情况下能够执行复杂任务的AI智能体，确保这些系统不会因为自我保护或其他原因而拒绝关闭或产生其他危害行为。

Scientist AI的运作机制十分独特。与传统的AI不同，它并不会简单地提供确定答案，而是使用概率评估的方式来判断某个答案的正确性，以体现出一种“谦逊”的态度。这种方法不仅能够更有效地评估风险，还可以提供给用户有关AI智能体行为的潜在风险评估。如果Scientist AI检测到某一行为的风险概率超过了预设阈值，系统将主动阻止该行为的发生。

LawZero的成立得到了多方的支持，包括AI安全机构Future of Life Institute，以及Skype创始工程师Jaan Tallinn和前谷歌CEO Eric Schmidt创办的Schmidt Sciences。初步资金约3000万美元，LawZero拥有十多名研究人员，本希奥本人则担任主席。这一研究团队的目标是在保障AI技术安全的前提下，推动其进一步发展。

本希奥表示，该项目的第一步是验证Scientist AI概念的方法论是否切实可行，并希望之后能够说服企业和支持更多规模化、能力更强的版本。他计划从开源的AI模型入手，开始训练Scientist 并呼吁社会各界投入更多资源，以保证监控系统能够与先进的AI技术同步发展。

在谈到AI技术的未来时，本希奥警告称，的AI智能体能够在无人类监督的情况下执行更复杂的任务，这将可能引发“严重”的后果。随着AI技术的不断进步，一些智能体可能会发展出保留自我、排斥外部干扰的行为，这对人类社会构成了潜在威胁。因此，研发额外的保护机制以确保AI的安全性是相当必要的。

诚然，在科技迅速发展的今天，AI的安全性、可控性以及伦理性愈发受到重视。一方面，AI在各个领域的应用推动了经济的发展和社会的进步；另一方面，失控或不当使用的AI也可能引发一些无法预知的风险。正因如此，像LawZero这样的组织应运而生，为社会提供了一个积极的应对方案。

本希奥对未来充满期待，他坚信通过系统的监控和管理，可以最大程度地降低先进AI技术所带来的潜在风险。LawZero的目标在于打造一个安全可靠的AI环境，让我们的科技能够在合适的框架内与人类和谐共处。

约书亚·本希奥通过创建LawZero非营利组织以及开发Scientist AI系统，展示了他对人工智能领域的深刻思考与责任感。随着技术的不断创新，我们期待这一监控系统的问世能够为塑造更加安全、透明的AI应用环境提供有力保障。