基于大语言模型的需求依赖检测方法 LEREDD 实现高精度与强鲁棒性

1. 研究问题：
   • RQ1：哪款 SOTA LLM 在需求依赖检测中表现最优？
   • RQ2：需求依赖检测的最优提示策略是什么？
   • RQ3：LEREDD 在数据集内与 SOTA 基线的对比性能如何？
   • RQ4：LEREDD 在跨数据集（更贴近工业实际）与 SOTA 基线的对比性能如何？
2. 数据集构建
   • 数据源：3 个汽车领域 SRS 文档（ADB/自适应远光灯、TJA/交通拥堵辅助、APA/自动泊车辅助），提取 40/25/50 条需求；
   • 标注：2 名 5 年以上经验的需求工程师独立标注，按语义相似度排序优先标注，最终得到 813 个标注需求对，Cohen's kappa=0.43（中等一致性），分歧通过共识解决；
   • 依赖类型分布：无依赖类占比最高（642/813），Requires 类次之（95/813），具体分布如下表：

     依赖类型	ADB	TJA	APA	总计
     Conflicts	14	-	4	18
     Details	18	2	1	21
     Implements	17	10	3	30
     Is similar	3	1	3	7
     Requires	32	18	45	95
     No Dependency	329	169	144	642
     单系统标注总数	413	200	200	813

3. 对比模型与基线
   • 4 款 LLM：覆盖闭源/开源，包括 GPT-4.1、Llama 3.1、Gemma 20B、Mistral 7B；
   • 2 款 SOTA 基线：基于检索的 TF-IDF&LSA、基于机器学习的微调 BERT，排除本体类基线（构建成本高、可扩展性差）；
4. 评估指标：采用宏平均的准确率（Acc）、精确率（P）、召回率（R）、F1 分数，避免类别不平衡导致的指标偏差，所有 LLM 实验温度设为 0 以保证结果可复现。

四、核心实验结果

各研究问题的验证结果均证明 LEREDD 的优越性，关键数字和结论如下：

1. RQ1（LLM 零样本性能）
   • GPT-4.1 为最优模型，无依赖类平均 F1 达 0.87，但细粒度依赖检测性能差，整体平均 F1 仅 0.39；
   • 开源 LLM（Llama 3.1/Gemma 20B/Mistral 7B）性能更低且波动大，对细粒度依赖（如 Implements）的 F1 近乎为 0；
   • 所有模型对无依赖类检测效果最优，因该类语义分离更清晰。
2. RQ2（最优提示策略）
   • 经 216 次少样本实验 +24 次 RAG 实验，确定最优提示策略：SBERT 嵌入 + 欧氏距离 + 最大相似度聚合 + 每类 4 个示例，结合 10 个 500 字符的 RAG 分块；
   • 该策略相对零样本 GPT-4.1，无依赖/Requires/Implements 类 F1 分别提升 5.56%/34.62%/81.82%，达 0.95/0.70/0.70；
   • 少样本关键结论：3-5 个示例即可达最优性能，检索质量优于数量；RAG 关键结论：适度分块可平衡上下文覆盖与噪声，全文档引入过多噪声。
3. RQ3（数据集内与基线对比）
   • LEREDD 取得平均准确率 0.9266、F1 分数 0.8433，无依赖类 F1 达 0.96；
   • 对最难的 Requires 依赖，F1 相对 TF-IDF&LSA/微调 BERT 平均提升 94.87%/105.41%；
   • 相比基线，LEREDD 性能更稳定，微调 BERT 在 TJA 数据集的准确率从 0.82 骤降至 0.37，而 LEREDD 始终高于 0.89。
4. RQ4（跨数据集与基线对比）
   • LEREDD 展现强鲁棒性，平均准确率仅下降 1.61%，F1 下降 9.52%，仍保持 0.915 的准确率和 0.76 的 F1；
   • Requires 依赖 F1 相对 TF-IDF&LSA/微调 BERT 提升 112.12%/218.18%，无依赖类 F1 达 0.95；
   • 微调 BERT 跨数据集性能大幅下降，Requires 类 F1 从 0.52 降至 0.31，因 ML 模型高度依赖训练/测试数据的相似性。

五、关键发现与讨论

1. 零样本 LLM 无法满足工业级需求依赖检测，仅能可靠识别无依赖类，细粒度依赖检测需领域上下文和任务特定指导；
2. LEREDD 的无依赖类高准确率（0.96）具有极高实用价值，因无依赖类占比超 79%，可大幅过滤无效需求对，减少人工工作量；
3. 计算效率：LEREDD 平均耗时 1 分 48 秒，优于微调 BERT（4 分 03 秒），略逊于 TF-IDF&LSA（2.48 秒），实现性能与效率的平衡；
4. 检索与提示的核心原则：少样本中'单个高相关示例'优于'多个弱相关示例'，RAG 中'检索精度'优于'检索数量'。

六、研究局限与未来工作

1. 局限：数据集仅覆盖汽车领域，泛化性需验证；标注存在主观性；未检测间接/隐式需求依赖；
2. 未来工作：将 LEREDD 扩展至间接/隐式依赖检测；研究依赖预测在需求演化的变更影响分析中的应用；将方法推广至其他领域。

七、研究核心贡献

1. 首次提出融合 RAG+ICL 的 LLM 基需求依赖检测方法 LEREDD，支持 7 类依赖检测并输出推理理由和置信度；
2. 构建并开源 813 个标注需求对的数据集，填补了需求依赖检测领域公共数据集的空白；
3. 系统验证了多款 LLM 在需求依赖检测的性能，确定了最优提示策略，为 LLM 在需求工程的应用提供参考；
4. 从数据集内/跨数据集两个维度，证明 LEREDD 显著优于 SOTA 基线，且具有强鲁棒性，适合工业实际场景。

关键问题

问题 1（方法设计类）：LEREDD 融合 RAG 和 ICL 的核心设计思路是什么，二者分别在需求依赖检测中发挥了什么作用？

答案：LEREDD 的核心设计思路是通过 RAG 提取领域特定上下文、ICL 检索任务特定相似示例，为 LLM 提供双重信息支撑，解决自然语言需求的模糊性和领域依赖性问题，弥补零样本 LLM 在细粒度依赖检测的不足。其中，RAG 的作用是从 SRS 文档中提取系统架构、组件定义等领域上下文，为依赖检测提供场景支撑（如明确术语含义），解决'无领域知识无法识别隐含依赖'的问题；ICL 的作用是为每类依赖/无依赖动态检索语义相似的标注示例，为 LLM 提供任务指导，帮助其学习细粒度依赖的判断标准，解决零样本 LLM 对小众依赖类型识别能力差的问题。

问题 2（实验性能类）：LEREDD 相比传统 SOTA 基线（TF-IDF&LSA、微调 BERT），在需求依赖检测中的核心优势体现在哪些方面，关键量化指标是什么？

答案：LEREDD 相比传统基线的核心优势体现在检测精度更高、细粒度依赖识别能力更强、跨数据集鲁棒性更好、性能更稳定四个方面，关键量化指标如下：1）数据集内：平均准确率 0.9266、F1=0.8433，无依赖类 F1 达 0.96，Requires 依赖 F1 相对 TF-IDF&LSA/微调 BERT 平均提升 94.87%/105.41%；2）跨数据集：准确率仅下降 1.61%，Requires 依赖 F1 相对基线提升 112.12%/218.18%；3）稳定性：在 3 个汽车系统中准确率始终高于 0.89，而微调 BERT 在 TJA 数据集准确率从 0.82 骤降至 0.37。

问题 3（实践应用类）：LEREDD 在工业实际的需求依赖分析中，具备哪些实用价值，其落地还需要解决哪些问题？

答案：实用价值：1）无依赖类 F1 达 0.96，可大幅过滤占比超 79% 的无依赖需求对，显著减少人工分析的工作量和时间成本；2）融合 RAG+ICL，无需大规模领域标注数据，适配工业场景中'目标系统无标注数据'的现状；3）输出推理理由和置信度，提升检测结果的可解释性，方便工程师审核和验证；4）检测效率优于微调 BERT，实现性能与效率的平衡，适合工业级大规模需求分析。落地待解决的问题：1）数据集仅覆盖汽车领域，需在金融、医疗等其他领域验证泛化性；2）目前仅检测直接依赖，需扩展至间接/隐式依赖检测，以覆盖工业场景的全部需求关系；3）需适配需求的持续变更特性，实现实时的依赖更新与检测；4）需开发可视化工具，将检测结果转化为直观的依赖图，方便工程师进行需求管理。