为什么你的 AI 总是"一本正经地胡说八道"？大模型的幻觉问题

你问 AI：“给我这段观点的权威出处。”

它很快给出一串看起来很像那么回事的论文标题、期刊名、卷期号，甚至还有链接格式。

问题是：你一复制去检索，发现根本搜不到——引用是“编出来的”。

更麻烦的是，这类输出往往语气笃定、结构完整、逻辑顺滑，让人很难第一眼识别错误。在真实世界里，这种“自信的错误”已经导致过公开的事故：例如 2023 年美国法院案件 Mata v. Avianca, Inc. 中，律师提交了由 ChatGPT 生成的虚构判例引用，最终被法院制裁。[1][2]

这类现象在研究里通常被归入“幻觉”（hallucination）：内容看起来合理，但与事实、上下文或输入要求不一致。[3]

什么是 AI 幻觉？

AI 幻觉是指：模型生成的内容在表达上很像“正确答案”，但与可验证事实、给定材料或对话上下文不一致。

最常见的幻觉类型：

1. 事实性幻觉（Fact-conflicting） 对客观事实（人物、时间、数据、结论）给出错误断言，且常伴随“看似可信的细节”。

2. 引用/出处幻觉 AI 引用根本不存在的论文、书籍、法律条文。

3. 上下文幻觉（Context-conflicting） 与同一段对话里已经给出的信息互相矛盾，或把前文的条件偷偷改了。

4. 指令/输入幻觉（Input-conflicting） 偏离用户要求（例如要求“只基于提供材料”，但它加入了外部知识；要求“不能编造”，它仍给出无法核验的细节）。[3]

为什么大模型会产生幻觉？

原因一：训练数据的局限性

大模型的知识来源于训练数据。

如果训练数据有偏见，AI 会放大这个偏见。

如果训练数据中没有某方面的知识，AI 会"脑补"——用相关性推理来填补空白。

原因二：概率生成的本质

大模型的训练目标通常是拟合文本分布（“预测下一个 token”或其变体）。这意味着它擅长生成“像人写的文字”，但并不天然保证“可验证为真”。

给定前文，AI 选择概率最高的词来生成。

问题是：概率高不等于事实正确。

当问题超出它的可靠知识边界时，模型仍会倾向于给出一个“看起来完整”的答案，而不是停下来承认不确定。

原因三：缺乏真正的"理解"

更准确的说法是：模型的“理解”主要来自语言统计与模式学习，而不是通过与现实世界互动获得的可验证经验。对一些需要强事实约束、强因果约束的场景，它更容易出现“顺嘴一编”的输出。

原因四：指令遵循的副作用

为提升可用性，很多模型会通过对齐训练（例如 RLHF）强化“有帮助、可读、像在解决问题”的输出风格。但在一些情况下，这也会让模型更偏向“给出一个完整回答”，而不是明确标注不确定性，导致用户感知到“自信的幻觉”。[4][5]

幻觉问题的严重性

在教育场景

学生用 AI 写论文，引用了不存在的参考文献——这是学术诚信问题。

在医疗场景

AI 给出错误的医疗建议——可能危及生命。

在法律场景

AI 引用不存在的法律条文——可能误导案件判断。

在金融场景

AI 生成虚假的财务报告——可能引发投资风险。

解决幻觉的方法

方法一：RAG（检索增强生成）

让 AI 在回答前先从可信语料中检索资料，再“带着证据”生成回答，是目前工程上最常见的降幻觉方案之一。[6]

流程：

1. 用户提问
2. AI 检索相关资料
3. AI 结合检索结果生成回答
4. 回答中引用真实来源

它不能保证完全正确（检索也会错、资料也可能过时），但能把“凭空编造”变成“引用可查”。

方法二：把“核对点”结构化

与其要求模型“展示思维链”，更稳妥的做法是让它先输出需要核验的要点清单，再输出最终结论。例如：

• 我将引用哪些来源（链接/文档名/页码）？
• 哪些数据是估算/推断，哪些是可直接查证？
• 如果缺少证据，我会返回“不确定/需要更多信息”。

方法三：多模型交叉验证

让多个 AI 模型分别回答同一问题，然后比对答案。

如果多个模型都给出一致的关键事实（例如同一时间点/同一结论），那这个答案的可信度通常会更高。

方法四：不确定性量化

让 AI 学会说"我不确定"。

技术实现：在输出答案时，同时输出置信度。

如果置信度低，就提示用户这个答案可能不准确。

方法五：知识图谱增强

将结构化的知识图谱嵌入 AI 系统。

当 AI 需要回答问题时，可以通过知识图谱验证答案的准确性。

各公司的解决方案

OpenAI（ChatGPT）

• 通过工具调用/检索等方式，让回答更容易被来源约束（以产品能力与配置为准）[4][8]

Google（Gemini）

• 在搜索产品中引入 AI 生成摘要与来源链接等形态（以产品能力与地区上线节奏为准）[9]

Anthropic（Claude）

• 通过 Constitutional AI 等对齐方法，强调“诚实与边界”（以官方说明为准）[5]

用户如何应对幻觉？

1. 保持批判性思维

AI 的答案并不总是可信的。

对重要信息，要自己核实或多方验证。

2. 追问来源

让 AI 提供答案的来源和依据。

如果 AI 说"根据某研究"，追问具体是哪项研究。

3. 交叉验证

对重要问题，用多个 AI 或搜索引擎交叉验证。

4. 了解 AI 的局限

AI 擅长处理常见的、训练数据充足的知识。

对于冷门、 专业、或最新出现的内容，AI 更容易出错。

结语

幻觉问题是大模型的核心缺陷之一，目前没有完美的解决方案。

但通过工程手段（例如 RAG、结构化核对点、评测与回归）和使用习惯的改进，幻觉问题可以显著降低，并在可控范围内使用。[6][7][10]

在使用 AI Chat 时，建议对重要信息进行核实，AI 是强大的助手，但不是完美的知识库。

毕竟，"尽信书不如无书"，对 AI 也是如此。

参考与延伸阅读

• [1] CourtListener：Mata v. Avianca, Inc.（S.D.N.Y., 1:22-cv-01461）https://www.courtlistener.com/docket/63107798/mata-v-avianca-inc/
• [2] American Bar Association：Use of ChatGPT for Research Leads to Bogus Cases, Sanctions（2023）https://www.americanbar.org/groups/litigation/resources/litigation-news/2023/use-chatgpt-research-bogus-cases-sanctions/
• [3] Siren's Song in the AI Ocean: A Survey on Hallucination in Large Language Models（arXiv:2309.01219）https://arxiv.org/abs/2309.01219
• [4] Training language models to follow instructions with human feedback（arXiv:2203.02155）https://arxiv.org/abs/2203.02155
• [5] Constitutional AI: Harmlessness from AI Feedback（arXiv:2212.08073）https://arxiv.org/abs/2212.08073
• [6] Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks（arXiv:2005.11401）https://arxiv.org/abs/2005.11401
• [7] TruthfulQA: Measuring How Models Mimic Human Falsehoods（arXiv:2109.07958）https://arxiv.org/abs/2109.07958
• [8] OpenAI Docs：Assistants File Search / Responses 迁移说明（以官方文档为准）https://platform.openai.com/docs/assistants/tools/file-search
• [9] Google：Generative AI in Search: Let Google do the searching for you（2024-05-14）https://blog.google/products/search/generative-ai-google-search-may-2024/
• [10] HaluEval: A Large-Scale Hallucination Evaluation Benchmark for Large Language Models（arXiv:2305.11747）https://arxiv.org/abs/2305.11747