Llama Factory微调+LangChain集成：构建知识增强型AI助手
Llama Factory微调+LangChain集成：构建知识增强型AI助手
如果你正在寻找一种高效的方式，将公司文档知识注入大语言模型，并构建一个能够回答专业问题的AI助手，那么Llama Factory微调工具与LangChain的集成方案可能正是你需要的。本文将带你从零开始，使用预集成环境快速完成模型微调和知识增强应用搭建，避开常见的格式转换和依赖管理陷阱。
为什么选择Llama Factory+LangChain方案
在构建企业级AI助手时，我们通常面临两个核心挑战：
- 如何让大语言模型理解特定领域的专业知识（如公司内部文档）
- 如何将微调后的模型无缝集成到应用流程中
Llama Factory作为当前最受欢迎的微调框架之一，提供了以下优势：
- 支持多种微调方法（全参数/LoRA/QLoRA等）
- 内置对主流开源模型（如Qwen、Baichuan、LLaMA等）的适配
- 提供显存优化策略，降低硬件门槛
而LangChain则解决了模型与应用之间的"最后一公里"问题：
- 内置文档加载和文本分割工具
- 支持多种向量数据库连接
- 提供灵活的链式调用机制
环境准备与快速启动
这类任务通常需要GPU环境，目前ZEEKLOG算力平台提供了包含该镜像的预置环境，可快速部署验证。我们使用的镜像已预装：
- Python 3.9+和必要依赖
- PyTorch with CUDA 11.8
- LLaMA-Factory最新版
- LangChain及相关组件
- Jupyter Notebook调试环境
启动环境后，可以通过以下命令验证安装：
python -c "from llama_factory import get_trainer; print('LLaMA-Factory可用')" python -c "import langchain; print(f'LangChain版本: {langchain.__version__}')" 三步完成知识增强型AI助手
1. 准备训练数据
创建data目录并准备JSON格式的训练文件，示例结构如下：
[ { "instruction": "公司年假政策是什么？", "input": "", "output": "根据2023年员工手册，正式员工每年享有15天带薪年假，试用期员工每月累积1天。" }, { "instruction": "报销流程需要哪些步骤？", "input": "", "output": "1. 填写电子报销单 2. 上传发票扫描件 3. 部门主管审批 4. 财务部审核 5. 15个工作日内到账" } ] 提示：可以使用内置工具将PDF/Word等文档转换为训练格式： python from llama_factory.data import convert_docs_to_json convert_docs_to_json("公司文档.pdf", "data/train.json")2. 配置并启动微调
创建train_args.json配置文件：
{ "model_name_or_path": "Qwen/Qwen-7B", "data_path": "data", "finetuning_type": "lora", "output_dir": "output", "per_device_train_batch_size": 4, "gradient_accumulation_steps": 4, "lr": 2e-5, "logging_steps": 10, "save_steps": 200, "num_train_epochs": 3, "fp16": true } 启动训练：
python src/train_bash.py \ --stage sft \ --do_train \ --model_name_or_path Qwen/Qwen-7B \ --dataset_dir data \ --output_dir output \ --overwrite_cache \ --per_device_train_batch_size 4 \ --gradient_accumulation_steps 4 \ --lr 2e-5 \ --logging_steps 10 \ --save_steps 200 \ --learning_rate 2e-5 \ --num_train_epochs 3 \ --fp16 注意：显存不足时可尝试以下优化： - 减小per_device_train_batch_size- 启用--fp16或--bf16- 使用--quantization_bit 4进行4bit量化
3. 集成LangChain构建应用
创建app.py实现问答服务：
from langchain.llms import HuggingFacePipeline from langchain.chains import RetrievalQA from llama_factory.infer import load_model_and_tokenizer # 加载微调后的模型 model, tokenizer = load_model_and_tokenizer("output") # 创建LangChain兼容的pipeline llm = HuggingFacePipeline.from_model_id( model_id="output", task="text-generation", pipeline_kwargs={"temperature": 0.2, "max_length": 1024} ) # 构建知识库检索链（示例） from langchain.document_loaders import DirectoryLoader from langchain.embeddings import HuggingFaceEmbeddings from langchain.vectorstores import FAISS loader = DirectoryLoader('company_docs/', glob="**/*.pdf") docs = loader.load() embeddings = HuggingFaceEmbeddings(model_name="BAAI/bge-small-zh") db = FAISS.from_documents(docs, embeddings) qa_chain = RetrievalQA.from_chain_type( llm=llm, chain_type="stuff", retriever=db.as_retriever() ) # 运行问答 query = "年假可以累积到下一年吗？" print(qa_chain.run(query)) 常见问题与解决方案
微调过程中的显存问题
根据实测，不同规模模型的显存需求大致如下：
| 模型规模 | 全参数微调 | LoRA (rank=8) | QLoRA (4bit) | |---------|-----------|--------------|-------------| | 7B | 80GB+ | 24GB | 12GB | | 13B | 160GB+ | 32GB | 16GB | | 70B | 640GB+ | 64GB | 32GB |
优化建议：
- 优先使用LoRA/QLoRA等参数高效微调方法
- 减小
per_device_train_batch_size（建议从1开始尝试） - 降低
max_length（通常512足够处理大部分文档）
LangChain集成时的格式转换
常见问题包括：
- 模型输出格式与LangChain预期不符
- 解决方案：实现自定义的
OutputParserpython from langchain.schema import BaseOutputParser class CustomParser(BaseOutputParser): def parse(self, text: str): return text.split("答案:")[-1].strip() - 文档加载时编码错误
- 解决方案：指定编码或使用备用加载器
python loader = UnstructuredFileLoader("doc.pdf", mode="elements", strategy="fast")
进阶技巧与扩展方向
完成基础集成后，你可以进一步优化AI助手：
- 添加对话记忆功能
python from langchain.memory import ConversationBufferMemory memory = ConversationBufferMemory() qa_chain = ConversationalRetrievalChain.from_llm( llm, db.as_retriever(), memory=memory ) - 实现多文档类型支持
python from langchain.document_loaders import ( PyPDFLoader, Docx2txtLoader, UnstructuredExcelLoader ) loaders = { '.pdf': PyPDFLoader, '.docx': Docx2txtLoader, '.xlsx': UnstructuredExcelLoader } - 添加检索增强生成(RAG) ```python from langchain.retrievers import ContextualCompressionRetriever from langchain.retrievers.document_compressors import LLMChainExtractor
compressor = LLMChainExtractor.from_llm(llm) compression_retriever = ContextualCompressionRetriever( base_compressor=compressor, base_retriever=db.as_retriever() ) ```
总结与下一步
通过本文的实践，你已经掌握了：
- 使用Llama Factory微调大语言模型的基本流程
- 将微调后的模型与LangChain集成的关键技术点
- 处理常见问题和优化性能的实用技巧
建议下一步尝试：
- 使用更复杂的提示工程优化回答质量
- 接入企业真实文档库进行端到端测试
- 探索不同微调方法对专业领域表现的影响
现在就可以拉取镜像开始你的知识增强型AI助手开发之旅。如果在实践中遇到具体问题，欢迎在技术社区分享你的经验和解决方案。
