科技日报记者 崔爽
开源开放，正在成为人工智能发展的大势所趋。
2026年世界互联网大会乌镇峰会以“开源开放共建共享”为主题，“开源”首次成为峰会主题的核心关键词。在“人工智能乌镇对话”中，与会嘉宾围绕全球人工智能开源生态建设展开讨论。随着越来越多的大模型向开发者开放，技术创新的参与门槛不断降低，人工智能应用也在更广泛的场景中加速落地。
但开放也意味着新的责任。模型能力被更多主体获取、修改和再开发，应用场景随之拓展，潜在风险也可能通过不同路径传导。如何在促进技术开放的同时，防范模型被滥用带来的安全风险，成为开源生态发展必须回答的课题。
近日，腾讯发布混元大模型Hy4，提出以更加负责任的方式进行训练、开源与发布，并重点关注网络安全和生物安全风险，这一实践为开源大模型的安全治理提供了一个最新样本。
把安全考量充分前置
不止于发布，开源大模型的安全治理需要贯穿大模型全生命周期。“模型发布前，团队需要进行大量网络安全测试，确保模型能够安全开放。”腾讯首席AI科学家姚顺雨在2026年未来科学大奖周·科学峰会的圆桌论坛中举例说，在网络安全领域，一种理想的模型应该具备较强的网络防御能力，能够发现系统漏洞、帮助机构提高安全水平，但同时要限制其利用漏洞发动攻击的能力。
不过，攻防能力并不能被彻底分离。即使训练数据中没有明确加入攻击内容，模型也可能因通用推理和代码能力的提升而获得相应能力。姚顺雨认为，负责任的治理应贯穿训练、发布和开放的全过程：训练阶段需要审慎选择数据并强化防御能力；发布前需要进行严肃的自动化与人工安全评估；上线后则要持续监测调用行为，识别模型是否被用于有害目的。
据介绍，在Hy4训练阶段，团队重点纳入与概念验证（PoC）生成、漏洞修复相关的防御性网络安全数据，同时筛选剔除漏洞利用、逆向、渗透等攻击性训练内容；在模型发布前，围绕密码分析、逆向工程、漏洞利用等方向开展审计。结果显示，Hy4在加密算法逆向求解、对抗二进制混淆、漏洞利用等进攻性能力上未展现出突出风险。
在生物安全方面，腾讯组织相关专家审查模型作答轨迹后认为，模型虽然掌握了较为扎实的基础生物知识，但将知识转化为可执行实验方案的能力仍然有限，尚未发现其能够显著降低实施生物危害行为的门槛。
姚顺雨还提到，在生物安全等领域，防御能力与攻击能力之间的界限可能更加复杂，所有模型公司都必须严肃对待安全问题。
多方协同共建信任机制
从模型研发到开放发布，从二次开发到行业应用，开源大模型的安全治理涉及多个主体、多个环节。
国际人工智能治理协会主席约翰·希金斯在“人工智能乌镇对话”中谈到，开源带来广泛协作和创新机会，但当模型进入医院、铁路等重要应用场景时，社会需要有证据支撑的信任机制。为此，有必要建立专业机构开展测试评估，形成共同的评价标准，让模型的安全性和可靠性能够得到更客观的检验。
企业内部评估能够帮助识别模型发布前的风险，但模型开放后还会经历不同主体的二次开发和场景适配。如何让安全评估贯穿模型开放和应用的全过程，避免风险在流转中被忽视，成为建立可信机制的重要一环。
中国人民大学高瓴人工智能学院教授曾毅也在相关研究中关注到前沿人工智能风险的复杂性，提出应让安全成为AI与生俱来的“基因”，不可删减、不可违背，不能为追逐模型性能而弱化安全防护。AI接触到人类数据的时候就变成“有善有恶”，人们希望人工智能“知善知恶”，最后“为善去恶”，就要尽可能穷尽各类潜在隐患，前置完成模型安全加固，坚持主动防御，而非出事之后被动补救。《前沿人工智能安全与治理2026：风险认知与协同治理》报告提出，应推动模型安全评测协同，核验不同主体安全承诺及落实情况，加强风险事件通报与联合处置，完善开放模型协同治理安排。
因此，开源大模型的安全治理不能停留在单一模型、单一企业的风险防范上，还需要关注模型开放、二次开发、场景应用等不同环节之间的衔接，推动形成更加系统的风险识别和处置机制。
“当AI从回答问题转向代表用户执行任务，用户是否愿意向AI开放个人信息，是否信任它能够安全处理数据、理解需求并采取行动，将直接影响产品的长期竞争力。”姚顺雨表示，随着Agent从回答问题走向代替用户执行任务，信任机制的重要性将进一步凸显。只有建立起与技术发展相适应的安全保障和信任机制，才能让开源生态释放更大价值，让人工智能发展更好造福社会。
网友评论
