基于 LangChain 的自动化测试用例生成与执行

注意事项：

• 在 write_file 中增加了异常捕获，防止因路径不存在等原因导致程序崩溃。
• 在 execute_test_file 中增加了超时设置，避免测试挂起。
• 返回值统一为字符串，便于 Agent 后续处理。

通过 AGENT 实现需求

1. 首先封装 Agent，绑定工具，输入提示词。在示例中，是在 LangChain 官方提供的 structured-chat-agent 提示词基础之上修改的提示词，添加了一个 code 变量。目的是为了后面 code 可以由其他的 chain 的执行结果而来。

# 注意：需要再原提示词的基础上添加 {code} 变量
# 实际项目中建议从 hub.pull 获取最新提示词模板
# prompt = hub.pull("hwchase17/structured-chat-agent")

from langchain.chat_models import ChatOpenAI
from langchain.agents import create_structured_chat_agent, AgentExecutor

llm = ChatOpenAI(model_name="gpt-3.5-turbo", temperature=0)

tools_all = [write_file, execute_test_file]

agent1 = create_structured_chat_agent(llm, tools_all, prompt)

agent_executor = AgentExecutor(
    agent=agent1, 
    tools=tools_all,    
    verbose=True,    
    return_intermediate_steps=True,    
    handle_parsing_errors=True)

if __name__ == '__main__':
    # 模拟输入
    response = agent_executor.invoke({
        "input": "请根据以上源码生成文件", 
        "code": """def test_demo(): return True"""
    })
    print(response['output'])

执行上述代码后，Agent 会分析输入，调用 write_file 工具生成源码文件。生成的文件内容即为传入的 code 变量内容。

在生成源码文件后，可以继续补充提示词，要求 Agent 执行对应的测试用例。此时 Agent 会再次规划步骤，调用 execute_test_file 工具。

与其他场景结合

在前面的章节中，已经实现了自动生成接口自动化测试用例的操作。可以直接与前面的操作结合，自动生成接口自动化测试用例，并执行测试用例。

注意：load_case 如何实现在前面章节已有对应讲解，此处假设该函数已存在并返回接口的自动化测试用例代码。

# load_case 的返回结果是接口的自动化测试用例
chain = (
        RunnablePassthrough.assign(code=load_case) | agent1
)

agent_executor = AgentExecutor(
    agent=chain, 
    tools=tools_all,    
    verbose=True,    
    return_intermediate_steps=True,    
    handle_parsing_errors=True)
    
if __name__ == '__main__':
    agent_executor.invoke({"input": """      
               请根据以下步骤完成我让你完成操作，没有完成所有步骤不能停止:                
               1. 先根据以上源码生成文件。                
               2. 根据上一步生成的源码文件，进行执行测试用例操作，并返回最终执行结果                
               """})

执行之后，即可在控制台看到生成的接口自动化测试用例的执行记录。这种链式调用方式极大地增强了 Agent 的复杂任务处理能力。

安全与最佳实践

在使用 Agent 执行代码时，安全性至关重要。

1. 沙箱环境：建议在 Docker 容器或隔离环境中运行 subprocess 命令，防止恶意代码破坏宿主系统。
2. 权限控制：确保运行测试的用户权限最小化，仅允许访问必要的目录。
3. 输入验证：对传入的文件名和代码内容进行严格校验，防止路径遍历攻击。
4. 超时控制：如前文所示，必须为长时间运行的命令设置超时时间，避免资源耗尽。

总结

本文详细介绍了自动化测试用例的生成与执行的实现原理与思路。

1. 明确了自动化测试用例的生成与执行的实现原理，即通过 Agent 调度工具完成任务。
2. 阐述了自动化测试用例的生成与执行的实现思路，包括工具封装和 Agent 配置。
3. 展示了如何利用 Agent 实现自动化测试用例的生成与执行，并结合了其他场景进行链式调用。
4. 强调了在实际生产环境中需要注意的安全问题和最佳实践。

通过这种方式，我们可以构建一个更加智能、高效的测试辅助系统，减少重复劳动，让测试人员专注于更高价值的测试设计工作。