LangChain 大型语言模型（LLMs）基础与核心功能详解

获取元数据信息

我们还可以访问返回的特定于服务提供商的信息，这些信息在不同的服务提供商之间并不标准化，例如 Token 使用情况。

llm_result.llm_output

输出：

{'token_usage': {'completion_tokens': 3903, 'total_tokens': 4023, 'prompt_tokens': 120}}

Token 数量估算

Number of Tokens：我们还可以估算在该模型中一段文本将包含多少 tokens。这很有用，因为模型有一个上下文长度，并且对于更多 tokens 的成本更高，这意味着我们需要知道传入的文本有多长。按默认设置，使用 tiktoken 估计 tokens：

llm.get_num_tokens("what a joke")

输出：

3

模型参数配置

在实际应用中，调整模型参数对于控制输出质量至关重要。常见的参数包括：

• temperature：控制生成的随机性。值越高，输出越多样；值越低，输出越确定。
• max_tokens：限制生成的最大 token 数，防止输出过长。
• top_p：核采样参数，控制候选词的范围。

示例配置：

llm = OpenAI(
    model_name="text-davinci-003",
    temperature=0.7,
    max_tokens=500,
    top_p=1.0
)

流式输出

为了提升用户体验，特别是在生成长文本时，可以使用流式输出（Streaming）。这样可以逐步展示生成内容，而不是等待整个响应完成。

for chunk in llm.stream("Tell me a short story about AI"):
    print(chunk, end="", flush=True)

流式输出允许用户实时看到进展，减少等待焦虑，同时也能更快地开始处理部分结果。

错误处理

在使用 LLM 时，网络波动或 API 限制可能导致请求失败。建议在代码中加入基本的异常捕获机制。

try:
    response = llm("Generate text")
except Exception as e:
    print(f"Error occurred: {e}")

总结

本文介绍了 LangChain 中 LLM 类的基础用法，包括初始化、文本生成、批量处理、Token 统计以及参数配置。掌握这些基础知识是使用 LangChain 构建复杂应用的前提。后续章节将深入探讨聊天模型（Chat Models）、提示模板（Prompts）及记忆（Memory）等高级功能。