LangChain 框架深度解析：LLM 大模型可观测性最佳实践

systemctl restart datakit

准备 OpenAI API Key

在 Langchain 应用中使用 OpenAI 的模型，需要一个 API Key，点击平台官网创建你的 API Key。

模拟 LLM 应用并接入可观测平台

主要实现了一个基于 OpenAI 的 GPT-3.5 模型的聊天对话系统，并设置了一个函数来跟踪 API 令牌的使用情况。

安装 Python 依赖

pip install langchain
pip install openai
pip install ddtrace

创建 LLM

使用 Langchain 创建 LLM，模型选择 gpt-3.5-turbo。

from langchain.chat_models import ChatOpenAI

llm = ChatOpenAI(model='gpt-3.5-turbo', temperature=0)

创建 ConversationChain 对象

创建一个 ConversationChain 对象，传入之前创建的 llm 对象，设置 verbose 为 True（表示输出详细的调试信息），并使用 ConversationBufferMemory 作为记忆储存。

from langchain.chains import ConversationChain
from langchain.memory import ConversationBufferMemory

conversation = ConversationChain(
    llm=llm, verbose=True, memory=ConversationBufferMemory()
)

创建对话函数

定义一个函数 track_tokens_usage，它接受一个对话链和一个查询作为参数。通过回调函数 get_openai_callback 创建一个回调对象 cb，并通过对象 cb 可以获取请求相关信息：请求数、消耗金额、令牌数量等。

from langchain.callbacks import get_openai_callback

def track_tokens_usage(chain, query):
    with get_openai_callback() as cb:
        result = chain.run(query)
        print(f"prompt token {cb.prompt_tokens}, res token {cb.completion_tokens}, total token {cb.total_tokens}")
        print(f"successful requests {cb.successful_requests}, total cost {cb.total_cost}USD")
        print(result)
    return result

调用与执行

track_tokens_usage(conversation, "介绍一下可观测性的产品及优势")

由于执行完成后，进程会退出，添加以下代码阻止退出，方便相关数据及时上报。

print("脚本执行完成，按 Enter 键退出...")
input()

执行脚本时，需设置环境变量以关联服务信息：

DD_SERVICE="my-langchain" DD_ENV="dev" DD_AGENT_HOST="localhost" DD_AGENT_PORT="9529" ddtrace-run python3 langchain_demo.py

LangChain 可观测性实践效果

接入成功后，可以在可观测性平台上查看到以下数据：

• 指标视图：展示请求次数、Token 消耗趋势、响应时间分布等关键指标。
• 调用链视图：清晰展示从用户请求到 LLM 调用的完整链路，包括中间件耗时和外部 API 延迟。

常见问题排查

Token 异常

如果没有配置 Token，则会报错：

pydantic.v1.error_wrappers.ValidationError: 1 validation error for ChatOpenAI
__root__
  Did not find openai_api_key, please add an environment variable `OPENAI_API_KEY` which contains it, or pass `openai_api_key` as a named parameter.

关于 Token，可以在代码中定义，但不建议硬编码在代码中，推荐使用环境变量方式：

export OPENAI_API_KEY="sk-...DcE2"

余额不足

如果 API 配额耗尽，会抛出 RateLimitError：

openai.RateLimitError: Error code: 429 - {'error': {'message': 'You exceeded your current quota...', 'type': 'insufficient_quota'}}

此时需要检查账户计划及账单详情。

代理配置

如需配置代理，可以加入以下配置：

import os
os.environ["http_proxy"] = "http://localhost:7890"
os.environ["https_proxy"] = "http://localhost:7890"

其他第三方 API

如果需要更换第三方 API 地址，可以使用以下方式：

import os
os.environ["OPENAI_API_BASE"] = 'https://chatapi.a3e.top/v1'

总结与建议

在构建基于 LangChain 的大模型应用时，实施可观测性是保障系统稳定运行的关键步骤。通过集成 DDTrace 等工具，开发者能够实时监控应用的健康状况，快速定位性能瓶颈和错误源头。

最佳实践建议：

1. 全链路追踪：确保从入口到 LLM 调用的所有环节都有 Trace ID 贯穿。
2. 成本监控：重点关注 Token 消耗和 API 调用成本，设置预算告警。
3. 异常捕获：在代码层面对 API 调用进行 try-except 包裹，避免单点故障影响整体流程。
4. 日志规范：统一日志格式，便于后续分析和自动化处理。

通过上述措施，可以有效提升大模型应用的生产级稳定性，为业务创新提供坚实的技术底座。