LangChain 应用开发：TruLens 利用量化技术对抗模型幻觉

以 RAG 为例看看 TruLens 的评估结果

RAG（Retrieval-Augmented Generation）是一种基于 LLM 的应用，它可以利用检索系统来增强 LLM 的生成能力。RAG 的工作原理是，当给定一个输入时，它会先从一个大规模的知识库中检索出一些相关的文档，然后将这些文档作为 LLM 的上下文，再使用 LLM 来生成一个输出。RAG 可以用于各种生成任务，例如问答、摘要、对话等。

RAG 的优点是，它可以利用检索系统来提供 LLM 所缺乏的知识和信息，从而提高 LLM 的生成质量和多样性。RAG 的缺点是，它也可能引入一些错误和幻觉，例如检索出不相关或不准确的文档，或者生成与输入或文档不一致的输出。

为了评估 RAG 的质量和效果，我们可以使用 TruLens 提供的 RAG 三角形（RAG Triad）的评估方法。RAG 三角形是由三个评估指标组成的，分别是：

• 上下文相关性（Context Relevance）：评估输入和检索出的文档之间的相关性，以及文档之间的一致性。上下文相关性越高，说明检索系统越能找到与输入匹配的知识和信息，从而为 LLM 提供更好的上下文。
• 有根据性（Groundedness）：评估输出和检索出的文档之间的一致性，以及输出的可信度。有根据性越高，说明 LLM 越能利用检索出的文档来生成有依据的输出，从而避免产生幻觉或错误。
• 答案相关性（Answer Relevance）：评估输出和输入之间的相关性，以及输出的有用性。答案相关性越高，说明 LLM 越能理解输入的意图和需求，从而生成有用的输出，满足用户的目的。

RAG 三角形的评估方法可以让我们从不同的角度来检验 RAG 的质量和效果，从而发现和改进 RAG 的问题。我们可以使用 TruLens 来实现 RAG 三角形的评估方法，具体步骤如下：

1. 在 LangChain 中，创建一个 RAG 对象，使用 RAGPromptTemplate 作为提示模板，指定检索系统和知识库的参数。
2. 在 TruLens 中，创建一个 TruChain 对象，包装 RAG 对象，指定反馈函数和应用 ID。反馈函数可以使用 TruLens 提供的 f_context_relevance, f_groundness, f_answer_relevance，也可以自定义。
3. 使用 with 语句来运行 RAG 对象，并记录反馈数据。输入一个问题，得到一个回答，以及检索出的文档。
4. 查看和分析反馈数据，根据 RAG 三角形的评估指标，评价 RAG 的表现。

下面是一个简单的示例，展示了如何在 LangChain 中使用 TruLens 来评估一个 RAG 问答应用：

# 导入 LangChain 和 TruLens
from IPython.display import JSON

# Imports main tools:
from trulens_eval import TruChain, Feedback, Huggingface, Tru
from trulens_eval.schema import FeedbackResult
tru = Tru()
tru.reset_database()

# Imports from langchain to build app
import bs4
from langchain import hub
from langchain.chat_models import ChatOpenAI
from langchain.document_loaders import WebBaseLoader
from langchain.embeddings import OpenAIEmbeddings
from langchain.schema import StrOutputParser
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.vectorstores import Chroma
from langchain_core.runnables import RunnablePassthrough
from trulens_eval.feedback.provider import OpenAI
import numpy as np
from trulens_eval.app import App
from trulens_eval.feedback import Groundedness

# 加载文件
loader = WebBaseLoader(
    web_paths=("https://lilianweng.github.io/posts/2023-06-23-agent/",),
    bs_kwargs=dict(
        parse_only=bs4.SoupStrainer(
            class_=("post-content", "post-title", "post-header")
        )
    ),
)
docs = loader.load()
# 分词
text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
splits = text_splitter.split_documents(docs)
# 存入到向量数据库
vectorstore = Chroma.from_documents(documents=splits, embedding=OpenAIEmbeddings())
# 定义一个 RAG Chain

retriever = vectorstore.as_retriever()

prompt = hub.pull("rlm/rag-prompt")
llm = ChatOpenAI(model_name="gpt-3.5-turbo", temperature=0)

def format_docs(docs):
    return "\n\n".join(doc.page_content for doc in docs)

rag_chain = (
    {"context": retriever | format_docs, "question": RunnablePassthrough()}
    | prompt
    | llm
    | StrOutputParser()
)
# 使用 TruChain 类来包装 rag 对象，指定反馈函数和应用 ID
# Initialize provider class
provider = OpenAI()
# select context to be used in feedback. the location of context is app specific.
context = App.select_context(rag_chain)
grounded = Groundedness(groundedness_provider=provider)
# f_context_relevance, f_groundness, f_answer_relevance 定义反馈函数
# Define a groundedness feedback function
f_groundedness = (
    Feedback(grounded.groundedness_measure_with_cot_reasons)
    .on(context.collect()) # collect context chunks into a list
    .on_output()
    .aggregate(grounded.grounded_statements_aggregator)
)

# Question/answer relevance between overall question and answer.
f_qa_relevance = Feedback(provider.relevance).on_input_output()
# Question/statement relevance between question and each context chunk.
f_context_relevance = (
    Feedback(provider.qs_relevance)
    .on_input()
    .on(context)
    .aggregate(np.mean)
)
# 使用 with 语句来运行 rag 对象，并记录反馈数据
tru_recorder = TruChain(rag_chain,
    app_id='Chain1_ChatApplication',
    feedbacks=[f_qa_relevance, f_context_relevance, f_groundedness])

with tru_recorder as recording:
    # 输入一个问题，得到一个回答，以及检索出的文档
    llm_response = rag_chain.invoke("What is Task Decomposition?")
    # 查看反馈数据
    rec = recording.get() # use .get if only one record
    # 打印反馈数据
    print(rec)
# 启动 tru 展示控制台
tru.run_dashboard()

结论

在本文中，我们介绍了如何在 LangChain 中使用 TruLens 来对 LLM 进行评估和优化，以及如何利用 TruLens 的结果来量化和对抗模型的不确定性。我们通过一个文本生成的任务为例，演示了如何使用 TruLens 来对模型的输出进行测量和量化，以及对模型的行为进行分析和解释。我们还分享了一个 RAG 案例代码，用实际指标说明了 TruLens 的评估结果。未来将有更多的工具和方法，可以对 LLM 进行更有效的评估和优化，以及更好地量化和对抗模型的不确定性，这将有助于推动 LLM 的发展和应用，以及提升 AI 语言的水平和价值。