AI 大模型 Stream 流式输出实战

3.3 运行效果说明

代码执行后，你会看到控制台逐字/逐词输出故事，而非等待几秒后一次性显示：

=== 故事小助手（流式输出）=== 正在生成《翠花的山村故事》...  ## 《奶奶的病床》我端着水碗站在厨房里，看着奶奶平日里气色红润的脸庞此刻变得苍白。她坐在角落的藤椅上，手里紧紧攥着那张泛黄的药方。'小翠花来。'奶奶颤巍巍的声音像是从很远的地方传来。我小心翼翼地走进房间，脚步声轻得像一片落叶。将药方放在桌上时，我不由得放慢了手速。红肿的眼睛里，我能看到奶奶年轻时在镜子里的倒影。'这是医生说的药方。'我轻声说，'我先给你倒水吧。'茶几上的杯子空空如也，奶奶指节分明的手指轻轻叩击着杯沿，似乎这样就能让药效更慢一些。我知道她又要犯那个习惯——等我看书看累了才来。'小翠花，你多大了？'她的声音里带着不容置疑的关心。我打量着手里的水杯，又看着这间熟悉的小屋。竹制的窗外已经有些开裂，但奶奶还是坚持每天午休时坐在那里晒太阳。那时的她总是笑着的，像是有说不尽的话题。'十岁。'我回答得很快，'写作业的时候写累了就来吧。''不用了不用了...'奶奶摇摇头，水声中带着淡淡的苦涩，'你先去写作业吧，别站着太久了。'

关键注意点：streaming=True 是开启流式的核心参数，若未设置，model.stream() 会报错；flush=True 必须加，否则 Python 会将片段缓存起来，导致'看似流式实则一次性输出'。

4. 进阶实战：用 LCEL 实现'科普助手'流式输出

在 LangChain 0.3+ 中，推荐用LCEL 表达式（| 管道符）串联组件——流式输出也不例外。相比直接调用 model.stream()，LCEL 能更灵活地结合'提示模板、输出解析器'，适配复杂场景（如带格式的科普内容生成）。

4.1 需求定义：科普助手

实现功能：接收用户输入的'科普主题'，按'【核心概念】→【生活案例】→【一句话总结】'的格式，流式生成科普内容。

4.2 完整代码：LCEL 流式串联

# 1. 导入依赖：LCEL+ 流式所需组件
from langchain_openai import ChatOpenAI
from langchain_core.prompts import ChatPromptTemplate # 提示模板（支持多轮格式）
from langchain_core.output_parsers import StrOutputParser # 流式输出解析器
from langchain_core.runnables import RunnablePassthrough # 辅助传递变量

# 2. 初始化核心组件
# 2.1 大模型（开启流式）
model = ChatOpenAI(
    model_name='deepseek-r1:7b', # 本地模型名称，根据实际情况填写
    base_url="http://127.0.0.1:11434/v1", # 本地模型 API 地址
    api_key="none", # 本地模型通常不需要真实 API 密钥
    temperature=0.7, # 可根据需要调整温度参数
    streaming=True # 开启流式模式（核心参数，必须设为 True）
)

# 2.2 提示模板（定义科普内容的格式）
prompt = ChatPromptTemplate.from_messages([
    ("system","你是专业科普助手，按以下格式生成内容：\n1. 【核心概念】：用 30 字内解释主题；\n2. 【生活案例】：举 1 个贴近生活的例子；\n3. 【一句话总结】：提炼核心价值。"),
    ("user","科普主题：{topic}") # 动态变量：用户输入的科普主题
])

# 2.3 输出解析器（将流式片段转为纯文本，避免多余格式）
parser = StrOutputParser()

# 3. 用 LCEL 管道符串联组件：prompt → 变量传递 → model → parser
# RunnablePassthrough()：确保'topic'变量能传递到 prompt 中
lcel_stream_chain = ({"topic": RunnablePassthrough()} # 传递用户输入的'topic'
| prompt # 填充提示模板
| model # 流式调用模型
| parser # 解析流式片段)

# 4. 流式调用科普助手
print("=== 科普助手（LCEL 流式输出）===")
user_topic = input("请输入科普主题：") # 接收用户输入（如'人工智能''区块链'）
print("\n正在生成科普内容...\n")

# 迭代接收流式片段并打印
for chunk in lcel_stream_chain.stream(user_topic):
    print(chunk, end="", flush=True)

4.3 运行效果示例（输入'人工智能'）

=== 科普助手（LCEL 流式输出）=== 请输入科普主题：人工智能 正在生成科普内容...  1. 【核心概念】：人工智能（AI）是模仿人类智能的系统技术。2. 【生活案例】：自动驾驶汽车通过 AI 识别道路信号、规划路线，帮助司机做出复杂决策。3. 【一句话总结】：人工智能的核心价值在于模拟人类智能，解决复杂问题并推动科技发展。

4.4 LCEL 流式的优势

相比直接调用 model.stream()，LCEL 的核心优势在于组件解耦与复用：

• 若想修改科普格式，只需改 prompt，无需动模型和解析器；
• 若想切换模型（如从通义千问换成 GPT-3.5），只需替换 model 实例，流式逻辑不变；
• 后续可轻松添加'输入验证''结果存储'等组件（如 输入验证 → prompt → model → parser → 数据库存储），流式特性不受影响。

5. 流式输出的优势与限制：实战前必看

流式输出虽能提升体验，但并非适用于所有场景。我们需要客观看待其优劣势，避免盲目使用。

5.1 核心优势

5.2 关键限制

6. 实战注意事项：避坑指南

1. API 密钥安全：代码中的 api_key 不要硬编码到项目中，建议用环境变量（如 os.getenv("QWEN_API_KEY")）或配置文件存储，避免泄露；
2. 流式中断处理：在用户主动取消（如关闭页面）或网络异常时，需调用 stream.close() 停止流式传输，避免模型继续生成浪费资源；
3. 不同模型的流式差异：
   • 通义千问、GPT 系列的 stream() 返回的是'包含 content 字段的 Chunk 对象'；
   • 部分开源模型（如本地部署的 Llama 3）需通过 transformers 库的 pipeline("text-generation", streaming=True) 实现流式，接口略有不同；
4. 前端流式展示：若需在 Web 端实现流式（如类似 ChatGPT 的界面），后端需用 SSE（Server-Sent Events）或 WebSocket 传递流式片段，前端用 EventSource 接收并实时更新 DOM；

7. 总结

7.1 核心总结

• 流式输出的核心价值：不是'加速生成'，而是'提升用户实时感知体验'，适合聊天、长文本实时生成等场景；
• 落地路径：基础场景用 ChatOpenAI.stream()，复杂场景用 LCEL 串联'模板 + 模型 + 解析器'，减少代码复杂度；
• 适用边界：优先在'用户可见'的交互场景用，后台批量任务用一次性输出，平衡体验与效率。