利用 LangChain 与大模型自动化生成测试用例

2.3 代码框架及部分代码展示

代码框架：

（此处展示代码框架图）

代码示例：

def case_gen(prd_file_path, tdd_file_path, input_prompt, case_name):
    """
    用例生成的方法
    参数:
    prd_file_path - prd 文档路径
    tdd_file_path - 技术设计文档路径
    case_name - 待生成的测试用例名称
    """
    # 解析需求、设计相关文档，输出的是 document 列表
    prd_file = PDFParse(prd_file_path).load_pymupdf_split()
    tdd_file = PDFParse(tdd_file_path).load_pymupdf_split()
    empty_case = FilePath.read_file(FilePath.empty_case)

    # 将需求、设计相关文档设置给 memory 作为 llm 的记忆信息
    prompt = ChatPromptTemplate.from_messages(
        [
            SystemMessage(
                content="You are a chatbot having a conversation with a human."
            ),  # The persistent system prompt
            MessagesPlaceholder(
                variable_name="chat_history"
            ),  # Where the memory will be stored.
            HumanMessagePromptTemplate.from_template(
                "{human_input}"
            ),  # Where the human input will injected
        ]
    )
    memory = ConversationBufferMemory(memory_key="chat_history", return_messages=True)
    for prd in prd_file:
        memory.save_context({"input": prd.page_content}, {"output": "这是一段需求文档，后续输出测试用例需要"})
    for tdd in tdd_file:
        memory.save_context({"input": tdd.page_content}, {"output": "这是一段技术设计文档，后续输出测试用例需要"})

    # 调大模型生成测试用例
    llm = LLMFactory.get_openai_factory().get_chat_llm()
    human_input = "作为软件测试开发专家，请根据以上的产品需求及技术设计信息，" + input_prompt + ",以 markdown 格式输出测试用例，用例模版是" + empty_case
    chain = LLMChain(
        llm=llm,
        prompt=prompt,
        verbose=True,
        memory=memory,
    )
    output_raw = chain.invoke({'human_input': human_input})

    # 保存输出的用例内容，markdown 格式
    file_path = FilePath.out_file + case_name + ".md"
    with open(file_path, 'w') as file:
        file.write(output_raw.get('text'))

def case_gen_by_vector(prd_file_path, tdd_file_path, input_prompt, table_name, case_name):
    """
    !!!当文本超级大时，防止 token 不够，通过向量数据库，搜出某一部分的内容，生成局部的测试用例，细节更准确一些!!!
    参数:
    prd_file_path - prd 文档路径
    tdd_file_path - 技术设计文档路径
    table_name - 向量数据库的表名，分业务存储，一般使用业务英文唯一标识的简称
    case_name - 待生成的测试用例名称
    """
    # 解析需求、设计相关文档，输出的是 document 列表
    prd_file = PDFParse(prd_file_path).load_pymupdf_split()
    tdd_file = PDFParse(tdd_file_path).load_pymupdf_split()
    empty_case = FilePath.read_file(FilePath.empty_case)
    # 把文档存入向量数据库
    docs = prd_file + tdd_file
    embedding_model = LLMFactory.get_openai_factory().get_embedding()
    router_url = ConfigParse(FilePath.config_file_path).get_vearch_router_server()
    vearch_cluster = Vearch.from_documents(
        docs,
        embedding_model,
        path_or_url=router_url,
        db_name="y_test_qa",
        table_name=table_name,
        flag=1,
    )
    # 从向量数据库搜索相关内容
    docs = vearch_cluster.similarity_search(query=input_prompt, k=1)
    content = docs[0].page_content

    # 使用向量查询的相关信息给大模型生成用例
    prompt_template = "作为软件测试开发专家，请根据产品需求技术设计中{input_prompt}的相关信息:{content},以 markdown 格式输出测试用例，用例模版是:{empty_case}"
    prompt = PromptTemplate(
        input_variables=["input_prompt", "content", "empty_case"],
        template=prompt_template
    )
    llm = LLMFactory.get_openai_factory().get_chat_llm()
    chain = LLMChain(
        llm=llm,
        prompt=prompt,
        verbose=True
    )
    output_raw = chain.invoke(
        {'input_prompt': input_prompt, 'content': content, 'empty_case': empty_case})
    # 保存输出的用例内容，markdown 格式
    file_path = FilePath.out_file + case_name + ".md"
    with open(file_path, 'w') as file:
        file.write(output_raw.get('text'))

三、效果展示

3.1 实际运用到需求/项目的效果

用例生成后是否真的能帮助我们节省用例设计的时间，是大家重点关注的，因此我随机在一个小型需求中进行了实验，此需求的 PRD 文档总字数 2363，设计文档总字数 158（因大部分是流程图），实际用例设计环节提效可达到 50%。

本次利用大模型自动生成用例的优缺点：

优势：

• 全面快速的进行了用例的逻辑点划分，协助测试分析理解需求及设计
• 降低编写测试用例的时间，人工只需要进行内容确认和细节调整
• 用例内容更加全面丰富，在用例评审时，待补充的点变少了，且可以有效防止漏测
• 如测试人员仅负责一部分功能的测试，也可通过向量数据库搜索的形式，聚焦部分功能的生成

劣势：

• 对复杂流程图不能很好的理解，当文本描述较少时，生成内容有偏差
• 对于有丰富经验的测试人员，自动生成用例的思路可能与自己习惯的思路不一致，需要自己再调整或适应

四、待解决问题及后续计划

1. 对于 pdf 中的流程图（图片形式），实现了文字提取识别（langchain pdf 相关的方法支持了 ocr 识别），后续需要找到更适合解决图内容的解析、检索的方式。
2. 生成用例只是测试提效的一小部分，后续需要尝试将大模型应用与日常测试过程，目前的想法有针对 diff 代码和服务器日志的分析来自动定位缺陷、基于模型驱动测试结合知识图谱实现的自动化测试等方向。