大模型幻觉指生成虚假、误导或无关答案的现象，可能源于训练数据缺失或误解。常见类型包括无意义输出、无关输出、提示矛盾、句子矛盾及事实矛盾。检索增强生成（RAG）是一种无需重新训练模型即可减轻幻觉的有效策略。RAG 通过检索、增强、生成三步流程，利用外部知识库增强模型上下文。设计有效 RAG 需关注提示词、知识库、嵌入模型及向量存储四大组件。优化方向包括改进提示工程、提升数据质量、选择合适的嵌入模型及调整相似性参数。通过构建私有知识库，可显著提高大模型在特定领域的回答准确性。
AI 产生幻觉是指大型语言模型（LLM）生成虚假、误导或无关的答案。这是使用 AI 过程中经常遇到的情况，例如大模型生成虚假的新闻信息。这通常是因为大模型缺乏相关训练数据或者误解了训练数据。
AI 幻觉的危险在于，它们生成的信息往往连贯、可信且有说服力，很容易让人信以为真。如果这些信息被用于关键决策（例如保险公司评估风险、分配或拒绝消费者贷款等），危险性非常大。虽然模型提供商定期用新数据重新训练模型可以降低幻觉可能性，但频繁重新训练模型因时间、人力和金钱成本而不可行。因此，寻找无需重新训练模型就能减轻幻觉的方法至关重要。
大模型中的幻觉有多种形式，有些容易检测到，有些则较难。我们可以通过对幻觉进行分类，根据其检测难度来组织，从而应对这些限制。通过了解大模型偏离预期输出的不同方式，可以克服其局限性。常见的幻觉类型包括：
需要注意的是，一种幻觉的存在并不排除其他类型共现的可能性。同样，严重类型的存在也不一定意味着较轻类型的共现。
为了解决这些不同类型的幻觉，一种被研究人员观察到既有效又易于实施的策略是检索增强生成（RAG）。检索增强生成（RAG）是通过从知识库中检索相关信息，增强响应生成的技术。RAG 可以用于为特定应用自定义 LLM 响应，显著减轻幻觉和不实陈述的风险。
假设用户希望通过 LLM 了解上一届世界杯的冠军。根据模型的最新知识，可能会指出缺乏该信息，或者更糟糕的是，即使没有重新训练，模型也会产生虚假或误导性的陈述。RAG 过程包括三个关键步骤：
这一步涉及根据用户输入提示从知识源中检索相关信息。这意味着查询一个特定领域的数据库，根据输入查询的相似性（从最相似到最不相似）返回相关结果。例如，一个想知道上一届世界杯冠军的用户可以查询包含足球队和比赛信息的知识库，并检索最相似的比赛信息。
在这里，输入查询会被检索到的信息增强。如果回到足球的例子，用户的初始查询'谁赢得了世界杯？'会在提示 LLM 生成响应之前，被增强为'阿根廷赢得了世界杯'。这一步增强了 LLM 对用户请求的理解。
最后一步包括基于增强后的输入生成更有信息量和上下文丰富的响应，并利用模型的生成能力。在足球的例子中，这意味着模型会基于增强后的提示生成一个类似人类的响应。这最后一步使 LLM 生成的响应根植于检索到的额外上下文，从而减轻输出中的幻觉风险。
基于 RAG 的原理，我们可以尝试优化 RAG。我们需要四个关键组件：
有了这四个组件，让我们看看它们如何交互：
# 简化的 RAG 流程伪代码示例
from langchain.vectorstores import FAISS
from langchain.embeddings import HuggingFaceEmbeddings
# 1. 初始化嵌入模型和向量存储
embeddings = HuggingFaceEmbeddings()
vector_store = FAISS.load_local("path/to/index", embeddings)
# 2. 用户查询
query = "上一届世界杯冠军是谁？"
# 3. 检索相关文档
docs = vector_store.similarity_search(query, k=3)
# 4. 构建增强提示
context = "\n\n".join([doc.page_content for doc in docs])
prompt = f"基于以下信息回答问题：{context}\n问题：{query}"
# 5. 生成响应
response = llm.generate(prompt)
如果你想提高大模型在回答个人知识库中的准确性，可以怎么做呢？你可以优化提示词、提高知识库中的数据质量、选择恰当的嵌入模型、设置好相似性相关参数。
比如，优化提示词。在检索阶段，可能会返回空结果或需要进一步澄清的结果，尽管用户尽最大努力创建了一个管理良好的知识库。这可能导致 LLM 为了生成答案，胡说八道。在返回空结果或模糊结果的情况下，可以通过提示工程指示模型回答基于事实和知识库中的数据。
其次是，优化知识库。包括更细致的资源也可能提高准确性。一个更昂贵的解决方案是对检索数据进行注释，对于给定的'查询 - 文档'对，确定文档是否与查询相关。有了注释的检索数据，就可以制定定量指标来评估检索器的好坏并针对性调整。
需要注意的是，随着技术发展，大模型的能力越来越强。对个人而言，我们更应该积累个人数据，建立私有知识库，以便在特定领域获得更准确的 AI 辅助。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online