斯科尔科沃科学技术研究院的一支研究团队提出一种检测大语言模型“幻觉”（指看似合理但与事实不符的生成内容）的新方法，适用于搭载外部信息源检索功能的大语言模型系统，可用于开发人工智能助手，以及其他对接企业知识库与文档的解决方案。
当神经网络无法验证事实，仅基于训练数据中的模式生成后续文本时，就会出现大模型“幻觉”。尽管现有部分专项检测方法可识别这类错误，但多数方案要么依赖大量标注数据，要么需要额外的校验步骤。
这支俄罗斯研究团队提出了不同思路：利用大语言模型自身的内部信号评估输出结果的可信度。通过微调模型的注意力机制，研究人员引导模型严格遵循上下文语义，自动修正生成错误。
对企业而言，该工具在AI系统出错可能引发财务、法律或声誉风险的行业尤为适用，例如银行、保险、法律服务等领域。对科研人员来说，这项工作也为探究大语言模型的内部运行机制提供了新的研究路径。
（本栏目稿件来源：俄罗斯金砖国家电视台 编辑整理：本报实习记者姚易安）
网友评论
