科技日报记者 崔爽
8月26日，2024年度上海市科学技术奖获奖结果揭晓，由上海交通大学、蚂蚁集团等多家单位共同完成的《复杂对抗场景下的网络媒体内容安全检测关键技术与应用》获得上海市科技进步奖一等奖。
在该项目的核心技术评审过程中，以中国工程院院士、中国图象图形学学会理事长王耀南院士为主任的专家委员会鉴定认为，“该技术整体达到国际先进水平，其中AIGC（人工智能生成内容）检测等技术已达到国际领先水平”。
随着生成式人工智能和大模型的兴起，内容生成技术虽高度智能化，但也带来价值观、意识形态和道德规范不符合主流社会价值等问题。为此，上海交通大学、蚂蚁集团等单位共同提出了大模型时代复杂对抗场景下的多模理解、AI鉴真、异常推理和多模文档解析等关键技术，以应对这一挑战。
“‘健全网络综合治理体系，推动形成良好网络生态’，项目组涉及的多家单位的研发团队通力合作，共同解答了如何保护人工智能时代信息内容安全的难题，积极引领生成式人工智能时代的内容安全治理新模式。”上海交通大学副校长、项目第一完成人蒋兴浩表示。
据了解，该项目实现了四项关键技术创新，以应对传统检测模型泛化难题、异常样本采集挑战、隐晦内容检测以及多变博弈攻击等核心问题。
一是提出基于思维链的多模态大模型幻觉缓解技术，开发深度学习模型，解决模型泛化和内生安全问题；二是研发可控多模态数据智能生成方法，满足模型训练对异常样本的需求；三是研制网络媒体内容安全监测一体化解决方案，攻克生成式隐晦不良内容检测和AIGC内容检测难题；四是提出基于对抗与溯源的模型安全防护技术，构建人工智能模型攻击-防御算法库。
“在国家网络安全战略指引下，蚂蚁集团通过产学研合作研发了隐晦推理等核心技术构建互联网信息安全智能治理体系，既为海量创作者提供安全可信的创作环境，又通过持续迭代的模型能力筑牢风险屏障。”项目主要完成人、蚂蚁安全实验室首席科学家王维强表示，蚂蚁集团将持续投入安全科技，继续深耕可信AI技术研发，推动网络安全智能化进程中取得更多技术突破。
（受访者供图）
网友评论
