基于 LangChain 集成本地部署的 Llama3.1 大模型

from langchain_core.prompts import ChatPromptTemplate
from langchain_ollama.llms import OllamaLLM

# 定义提示模板
template = """
Question: {question}
Answer: Let's think step by step.
请用简体中文回复。
"""

prompt = ChatPromptTemplate.from_template(template)
model = OllamaLLM(model="llama3.1")

# 构建链
chain = prompt | model

# 执行调用
result = chain.invoke({"question": "LangChain 是什么？"})
print(result)

2. 流式输出处理

为了提升用户体验，建议使用流式输出（Streaming），避免长时间等待。

from langchain_ollama.chat_models import ChatOllama
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser

chat_model = ChatOllama(model="llama3.1", temperature=0.7)
prompt = ChatPromptTemplate.from_messages([
    ("system", "你是一个专业的 AI 助手，请用简洁的语言回答。"),
    ("human", "{input}")
])

chain = prompt | chat_model | StrOutputParser()

for chunk in chain.stream({"input": "解释一下 Transformer 架构"}):
    print(chunk, end="", flush=True)

3. 多轮对话记忆

在实际应用中，通常需要维护上下文记忆。LangChain 提供了 ConversationBufferMemory。

from langchain.memory import ConversationBufferMemory
from langchain.chains import ConversationalRetrievalChain
from langchain_ollama.chat_models import ChatOllama

memory = ConversationBufferMemory(memory_key="chat_history", return_messages=True)
chat_model = ChatOllama(model="llama3.1")

# 注意：此处为简化示例，实际需结合 VectorStore 实现检索增强
# 仅演示对话链结构
from langchain.chains import ConversationChain
conversation = ConversationChain(llm=chat_model, memory=memory)

response = conversation.predict(input="你好")
print(response)
response = conversation.predict(input="我刚才问了什么？")
print(response)

四、性能优化与注意事项

1. 显存与内存管理

• 量化选择：默认拉取的模型通常为 Q4_K_M 量化版，在精度和速度间取得平衡。若资源紧张，可尝试 llama3.1:3b 等更小版本。
• GPU 加速：Ollama 默认会检测 GPU。若使用 NVIDIA 显卡，确保安装了 CUDA 驱动，Ollama 会自动利用 GPU 加速推理。

2. 并发控制

本地模型推理受限于硬件资源，建议在生产环境中限制并发请求数，防止 OOM（内存溢出）。

3. 错误处理

网络或服务不可用时，应添加异常捕获机制：

try:
    result = chain.invoke({"question": "测试问题"})
except Exception as e:
    print(f"调用失败：{e}")

五、常见问题排查

1. 模型拉取失败：检查网络连接，Ollama 服务器可能需要代理。可使用 OLLAMA_HOST 环境变量指定镜像源。
2. 显存不足：减少 num_ctx 上下文长度，或更换更小参数量模型。
3. LangChain 版本冲突：确保 langchain-core 与 langchain-ollama 版本兼容，建议统一升级至最新版。

六、总结

本文详细展示了从本地部署 Llama3.1 到通过 LangChain 集成的全过程。利用 Ollama 进行私有化部署，不仅能保护数据隐私，还能降低 API 调用成本。开发者可根据硬件条件选择合适的模型版本，并结合流式输出、记忆管理等技术构建功能完善的 AI 应用。未来随着本地算力提升，本地大模型将在更多场景中得到广泛应用。