【菜科解读】

大模型幻觉已成为AI应用重大挑战，难以彻底根除但可通过数据治理、模型优化等手段降低发生概率。

事实性幻觉低于忠实性幻觉，参数规模越大幻觉率越低，需技术创新、安全治理与标准建设协同推进。

随着大模型加速落地，人工智能幻觉正从技术圈的小众议题，逐步演变为全社会无法回避的现实问题。

6月12日，在第21期南都数字经济治理沙龙上，与会专家围绕“AI出错，谁为模型‘幻觉’买单？”这一主题展开了深入讨论。

中国信息通信研究院人工智能研究所安全治理部主任石霖在会上指出，大模型“幻觉”已成为当前AI应用面临的重大挑战。

现有研究表明，幻觉几乎无法彻底根除，但通过数据治理、模型优化和推理增强等手段，可以持续降低其发生概率。

长期稳定更新的攒劲资源： >>>点此立即查看<<<

中国信息通信研究院人工智能研究所安全治理部主任石霖。

摄影：南都记者莫倩如

从“编造事实”到法律风险，AI幻觉影响正在外溢

首先需要厘清概念。

“幻觉”一词源自心理学，指没有客观刺激时产生的知觉体验。

在大模型场景下，它表现为两种形式：一是生成内容不符合用户指令――例如用户要求英译中，模型却输出法语；

二是生成内容与客观事实不符――例如对图片进行错误描述。

业内通常将前者称为“忠实性幻觉”，后者称为“事实性幻觉”。

石霖指出，从当前行业实践看，忠实性幻觉问题尤为突出，已成为影响大模型落地的关键短板。

随着大模型进入办公、搜索、教育、咨询等日常场景，幻觉带来的连锁反应日益明显。

错误信息会导致用户形成认知偏差，在医疗健康等专业领域，甚至可能产生误导性建议。

更值得关注的是，模型“编造”的内容可能触及名誉侵权、虚假信息传播等法律红线。

石霖分享了一个实际案例，提醒用户：大模型生成的内容必须经过人工核验，不能直接作为最终答案。

幻觉无法彻底消除，但可以被缓解和控制

AI幻觉的成因是什么？石霖给出了清晰解答：问题并非出自单一环节，而是从数据准备、模型训练到推理生成的整个链条都存在风险。

在数据层面，训练数据本身包含错误、偏见或知识覆盖不足。

尤其是长尾知识、新知识以及受法律法规限制的信息领域，模型容易出现“知识断片”，从而产生幻觉。

训练阶段是问题“重灾区”。

大模型本质上依赖概率预测生成内容，更关注语言模式和上下文关联，而非验证事实。

此外，模型对齐过程中为了迎合人类偏好，往往会选择“听起来更顺耳”的答案而非最准确的答案，这本身便埋下了幻觉隐患。

推理阶段同样存在问题。

模型有时表现出过度自信，遇到语义相近或复杂问题时，细节容易出错。

长链条推理中的信息累积偏差，以及模型蒸馏、量化压缩等技术操作，都可能进一步放大幻觉问题。

值得庆幸的是，学术界和产业界已全面展开应对。

例如，构建事实核查机制、引入外部知识库、建立专门评测数据集以识别和评估幻觉风险；

同时，数据清洗、检索增强生成（RAG）、模型架构优化、推理增强等技术手段，均能有效降低幻觉发生率。

然而必须清醒认识到：现有研究已形成共识，大模型幻觉从根本上难以彻底消除。

这是因为大语言模型基于概率生成的技术原理本身具有固有局限。

行业目前的思路是“缓解和控制”，而非“消灭”。

石霖同时提醒用户：使用大模型时应清楚其能力边界和不确定性。

尽管思维链等推理机制能在一定程度上降低幻觉率，但目前尚无证据表明推理过程越长、越复杂，幻觉就越少。

值得关注的是，关于幻觉是否完全有害，学术界和产业界存在不同看法。

石霖指出，幻觉本质上是偏离事实或既有认知的表达，但从另一角度看，这种非线性生成方式可能与创造性、创新性存在某种关联。

因此，对于幻觉需要更辩证地看待。

最后，石霖披露了中国信通院在大模型幻觉领域的最新研究成果。

该院从去年开始构建了一个包含5000余条样本的幻觉测试集，从忠实性和事实性两个维度进行了专项评测。

结果显示：当前主流模型的事实性幻觉总体上低于忠实性幻觉，后者已成为影响模型可靠性的首要问题。

测试数据还显示：同一类型模型中，参数规模越大，整体幻觉率越低。

推理模型相比传统通用模型，在控制幻觉方面表现更好――能够缓解问题，但无法完全消除。

而经过蒸馏压缩的模型，忠实性幻觉反而会上升。

石霖总结道，未来需要在技术创新、安全治理和标准建设等多个方向协同推进，才能持续提升AI系统的真实性、可靠性和可信度，推动整个产业健康有序发展。

采写：南都N视频记者 黄莉玲 发自北京