LangChain 构建智能 AI 客服系统实战

将 system_prompt.txt 保存在静态文件中，在 Docker 部署时，方便快速调试以及优化 Prompt。

代码实现

# 构建 system_template.txt 文件的路径
system_template_path = os.path.join(base_dir, 'static', 'system_template.txt')

with open(system_template_path, 'r') as file:
    system_template = file.read()

common_prompt = PromptTemplate(
    template=system_template,
    input_variables=[]
)

利用代理实现自定义工具调用

优化概述

OpenAI 有 Function calling 的功能，LangChain 的代理也是类似，这里我们使用了 OpenAIFunctionsAgent。

LangChain 的代理可以根据用户的提问，结合工具的描述（描述是非常有用的）和自定义参数自动判断是否需要调用工具以及选择什么工具。

基于代理和工具我们还可以把业务和 GPT 模型能力完美结合起来。

代码实现

这里把之前写的实时查询天气的工具集成了进来，方便测试。可以阅读相关文章学习如何实现自定义工具（工具即是函数或者接口能力）。

qa = ConversationalRetrievalChain.from_llm(
    llm=llm, 
    chain_type="stuff", 
    memory=memory,
    retriever=vector_store.as_retriever(),
    condense_question_prompt=common_prompt,
    verbose=True
)

realWeatherTool = RealWeatherTool()
tools = [
    Tool(
        name="xmhc",
        func=qa.run,
        description="当您需要回答小猫惠充客服相关问题时，包括话费充值、充值类型 (快充/慢充)、到账时间、充值须知、充值规则、充值协议、活动规则、客服联系方式、联系客服等，这非常有用。输入应该是一个完整的问题。",
        verbose=True,
    ),
    Tool(
        name="RealWeatherTool",
        func=realWeatherTool.run,
        description=realWeatherTool.description,
        verbose=True,
    )
]

chat_prompt = OpenAIFunctionsAgent.create_prompt(
    system_message=SystemMessage(content=system_template)
)

agent = OpenAIFunctionsAgent(
    llm=llm, 
    tools=tools, 
    prompt=chat_prompt, 
    verbose=True
)
agent_executor = AgentExecutor(agent=agent, tools=tools, memory=memory, verbose=True)

用户会话隔离及上下文存储

优化概述

我们知道微信公众消息都是基于公众号用户的，所以我们可以采用 openid 作为用户唯一标识，以此来用于会话隔离。

同时需要记录用户会话的上下文，这里采用 Redis 来缓存用户会话记录，后续还可以基于会话记录来做一个会话分析功能。

对会话上下文进行限制，以防超出模型最大 token 限制。

代码实现

@app.route("/xmhc/kf", methods=['POST'])
def chat():
    # 接口请求参数
    json_data = request.get_json()
    userid = json_data['userid']
    question = json_data['question']
    
    # 获取当前用户历史会话内容
    history_message = []
    if redis_store.exists(userid):
        history_message_str = redis_store.get(userid)
        history_message = json.loads(history_message_str)
    
    try:
        answer = agent_executor.run({"input": question, "chat_history": history_message})
        current_message = (question, answer)
        
        # 缓存当前用户历史对话内容
        history_message.append(current_message)
        
        # 对会话数进行限制，防止超出 Token 上限
        if len(history_message) > 10:
            # 删除最旧的数据
            history_message.pop(0)
        
        # 将元组列表转换为 JSON 字符串
        history_message_str = json.dumps(history_message)
        redis_store.set(userid, history_message_str)
        print(answer)
    except InvalidRequestError:
        # 调用模型请求失败，可能是额度不足或者请求频繁
        return {
            "err_code": -1,
            "data_list": []
        }
    
    return {
        "err_code": 0,
        "data_list": [
            {"content": answer}
        ]
    }

总结

通过上述优化，AI 客服系统在检索准确性、上下文理解、工具调用灵活性以及会话管理稳定性方面均得到了显著提升。在实际生产环境中，建议进一步监控 Token 使用情况，定期更新知识库向量数据，并根据用户反馈调整 System Prompt 策略，以实现持续的服务质量优化。