上海市科技奖揭晓：上海交大与蚂蚁集团联合项目获一等奖，推动AI内容安全治理新模式

近日，2024年度上海市科学技术奖的获奖成果正式公布，其中，上海交通大学与蚂蚁集团等多家单位联合开发的项目《复杂对抗场景下的网络媒体内容安全检测关键技术与应用》，荣耀获奖上海市科技进步奖一等奖。此次评审由中国工程院院士王耀南担任主任，专家委员会一致认定该技术整体达到国际先进水平，尤其是其AIGC（AI生成内容）检测技术已达国际领先水平。

近些年来，随着生成式人工智能和大型语言模型发展的迅猛，内容生成技术在许多领域取得了显著进展。这一智能化的技术浪潮也带来了一系列挑战。例如，生成内容往往可能违背社会固有的价值观、意识形态和道德规范，使得互联网信息的健康传播和有害信息治理面临新的困境。因此，上海交通大学与蚂蚁集团联合的技术团队意识到，传统的内容安全治理措施已难以适应时代的变迁，必须研发出新的技术手段来应对复杂的网络环境。

项目团队提出了在大模型时代背景下，针对复杂对抗场景的多模理解、AI鉴真、异常推理和多模文档解析等一系列关键技术。这些技术的研发如同为AI时代的内容安全治理指明了方向。项目第一完成人、上海交通大学副校长蒋兴浩表示，参与该项目的多家单位紧密合作，成功解决了如何在人工智能时代确保信息内容安全的问题，从而积极引领新的内容安全治理模式的形成。

具体而言，该项目在技术创新上取得了四项重大突破，旨在应对传统检测模型的泛化难题、异常样本采集的挑战、隐晦内容的检测以及多变博弈的攻击等核心问题。这四项突破包括：

1. 基于思维链的多模态大模型幻觉缓解技术：该技术通过开发深度学习模型，解决了模型的泛化和内生安全问题，为内容生成、检测和溯源提供了必要的技术基础。

2. 可控多模态数据智能生成方法：为满足模型训练对异常样本的需求，该方法能够智能生成各种多模态数据，从而提高模型的整体准确性和安全性。

3. 网络媒体内容安全监测一体化解决方案：这一方案攻克了生成式隐晦不良内容检测和AIGC内容检测领域的难题，并荣获中国信息通信研究院的5星级评级，标志着其在行业中的领先地位。

4. 对抗与溯源的模型安全防护技术：通过构建一套完整的AI模型攻击-防御算法库，该技术大幅提升了防止数据滥用和模型被盗用的能力，为内容安全提供了强有力的技术保障。

这些关键技术不仅显著提升了在复杂攻击情况下内容安全的防控效果与效率，还为互联网有害信息治理带来了标志性的进展。该项目也有效推动了AI技术在更广泛领域的应用，为相关产业的发展提供了强有力的技术支持。

在知识产权方面，该项目已获得41项发明专利、1项国家标准和1项地标，以及10项软件著作权，发表学术论文118篇。这些显著的研究成果已经在多个的内容安全业务中应用，取得了从天级到分钟级的响应时效，极大提升了抗风险能力和应急响应速度。

蚂蚁集团首席科学家王维强表示，在国家网络安全战略的指引下，蚂蚁集团通过产学研合作，推动了隐晦推理、AIGC识别等核心技术的研发，旨在构建一个安全、可信的互联网信息安全智能治理体系。他强调，这不仅为海量创作者提供了安全的创作环境，更通过不断迭代的技术力量强化了风险防控的屏障。蚂蚁集团也将不断加大在安全科技领域的投入，继续深化可信AI技术的研发，争取在网络安全智能化进程中取得更大的技术突破。

此次获得上海市科技进步奖的一等奖，不仅是对项目组创新努力的认可，更是对未来内容安全治理方向的一次积极探索。科技的快速发展，以其不断变化和升级的面貌，推动着社会的进步，也要求我们的技术与时俱进，迎接每一个新的挑战。