IDS-Agent：基于大模型的物联网可解释入侵检测系统

在性能层面，作者通过两个主流 IoT 入侵检测数据集验证了系统的有效性。

• ACI-IoT'23
• CIC-IoT'23

相关工作包括：

• Conventional IDS：基于特征码的入侵检测系统（SIDS）和基于异常的入侵检测系统（AIDS）
• ML-based IDS
• LLM-based IDS

结果表明，IDS-Agent 在检测准确率、宏平均 F1 值及零日攻击召回率方面均显著超越传统机器学习方法与已有的 LLM 检测方法。例如，系统在 CIC-IoT'23 上的零日攻击检测召回率达到 0.61，超过 ACGAN 与 RealNVP 等专门针对零日攻击设计的模型。

综上，本文的研究思路在于将 LLM 智能体（Agent）框架引入入侵检测领域，使系统具备'思考—决策—解释'的能力。IDS-Agent 不再是被动地执行分类，而是主动进行知识驱动的分析、推理与自适应判断。这标志着入侵检测从'模式匹配与特征识别'向'智能推理与可解释安全'转变的重要一步。

三、方法设计

在整体架构上，IDS-Agent 由三个主要组成部分构成：

• 核心 LLM
• 工具箱（Toolbox）
• 记忆与知识库（Memory and Knowledge Base）

核心 LLM 是整个系统的中枢大脑，负责根据输入流量和检测请求进行逻辑推理，并在每一次推理中生成可执行的结构化行动指令。工具箱则相当于系统的'执行层'，包含了多种功能模块，用于完成数据预处理、分类、知识检索、结果聚合等操作。记忆与知识库承担长期信息存储和语义增强的职责，使系统能够在决策过程中调用历史经验和外部知识，以实现跨任务的自适应推理。

1. core LLM

系统的运行过程始于用户的检测请求。输入包括原始网络流量数据及系统提示（System Prompt），这些内容被拼接成初始观察（Observation O）。核心 LLM 首先分析该观察，生成内部推理（reasoning），然后根据推理结果决定要执行的动作（action），例如调用分类器或检索知识库。动作以 JSON 文件的结构化形式输出，其中包含动作名称、目标工具及相应参数。这一结构化格式使系统能够精确执行 LLM 生成的计划，而不需要额外的解析环节，从而保证了执行效率和自动化程度。

动作执行后，工具的输出被转换为文本并反馈给 LLM，形成新的观察（observation），这部分信息被加入短期记忆以更新上下文。LLM 在这一过程中不断进行新的推理与行动，形成一个动态循环，直到最终生成以'final answer'为标识的 JSON 输出，包含检测结果与详细解释。整个过程体现了一种连续的、自我调节的推理流，与人类分析师在面对复杂入侵情境时的思考逻辑十分相似。

2. Toolbox

在工具箱设计方面，IDS-Agent 通过模块化方式实现了完整的入侵检测流水线。首先是数据提取（Data Extraction），该模块从指定的数据集中提取网络流量样本，通常通过流 ID 或行号定位，并将原始包数据整理为结构化输入格式。随后是预处理模块（Preprocessing），其任务是清理、标准化并转换原始数据，使其适配下游的机器学习模型。作者在论文中具体说明了该模块的多步操作：去除无关字段（如时间戳、流编号）、将非数值字段编码为数字形式（如通信协议、连接方式）、通过 F 检验选取最相关的特征，并最终对特征进行标准化处理，以确保不同量纲的输入在模型中具有可比性。

完成预处理后，系统进入分类阶段（Classification）。此时 IDS-Agent 调用一组预训练的机器学习模型，包括随机森林（RF）、K 近邻（KNN）、逻辑回归（LR）、决策树（DT）、多层感知机（MLP）和支持向量机（SVM）。每个模型独立输出其预测结果及相应的置信度得分，系统会记录每个分类器的 Top-3 预测标签作为候选集合。这样做的目的在于充分利用不同模型的多样化判断，使得系统在面对复杂攻击时能够整合多源证据进行推理。值得注意的是，论文强调该分类器集合是开放式的，用户可以轻松地添加新的模型或外部 API 分类器，而无需重新训练 LLM，这种灵活性为系统的持续演化提供了极大便利。

当不同分类器的输出出现冲突时，IDS-Agent 并不会简单地依赖多数投票，而是通过知识检索（Knowledge Retrieval）与长期记忆（Long-term Memory）来增强判断。知识检索模块通过调用搜索引擎（如 Google 或 Wikipedia API）以及系统自建的向量化知识库来补充攻击相关信息。该知识库收集了 50 篇网络安全博客与 50 篇研究论文的内容，使用 ChromaDB 构建成向量数据库。LLM 在生成动作时会形成查询语句（query），系统通过计算查询与知识向量的余弦相似度（cosine similarity）来检索最相关的文档块。检索到的文档经过 LLM 摘要压缩后更新到观察中，从而为后续推理提供事实支撑。例如，当分类器给出'MITM 攻击'和'ARP 欺骗'两种相似预测时，知识检索模块会提供这两类攻击的定义与区别，帮助 LLM 判断哪一种更符合流量特征。

长期记忆模块的作用则在于提供经验迁移能力。系统维护一个结构化的历史记忆库，每个存储单元记录一次完整检测会话的时间戳、特征向量、推理轨迹、动作序列、观察结果及最终预测标签。LLM 通过输入当前任务的观察序列，与历史案例进行语义匹配。论文中给出了具体的相似度计算公式（即公式 1），其核心思想是基于时间衰减因子与内容相似度的加权求和，从而优先检索'既近期又相似'的历史案例。检索得到的前 k 个样本（论文中 k=5）将被转换为输入提示，辅助当前推理。这样，系统在面对类似攻击情境时能够借鉴过去的成功经验，提高决策稳定性。

3. Memory and Knowledge Base

在推理的后期阶段，IDS-Agent 通过结果聚合（Aggregation）模块整合来自分类器、知识检索和记忆模块的多源信息。与传统的多数投票或加权平均不同，聚合过程仍由 LLM 主导。LLM 在系统提示中接收所有模型的预测标签及置信度分布、知识检索摘要以及长期记忆的相关案例，通过自然语言推理生成最终的检测结果及解释说明。这一聚合机制使 IDS-Agent 在面对多个相互矛盾的模型输出时，能够基于上下文逻辑与外部知识做出更合理的综合判断。例如，当三种模型置信度接近但知识库中指出该攻击类型具有高危特征时，系统会倾向于做出'恶意'判定，并在解释中说明依据。如表 1 所示，相比传统的多数投票，IDS-Agent 的聚合策略显著提升了多分类任务的 F1 值和 Recall 指标。

记忆与知识模块在整个系统中发挥着连接与增强作用，它们并不独立运行，而是被核心 LLM 动态调用。当短期记忆中出现上下文不足或分类结果冲突时，LLM 自动触发相应的检索动作。知识检索侧重横向扩展（引入新的事实信息），而长期记忆则侧重纵向关联（回顾过往的决策经验）。这种双向的信息流使系统在推理过程中兼具即时感知与历史积累的能力。论文的消融实验结果如表 3 所示，验证了两者的重要性：移除知识检索模块后，系统在零日攻击检测中的召回率从 0.61 降至 0.42；移除长期记忆模块后，召回率也明显下降，说明两者对系统识别未知威胁的能力至关重要。

值得注意的是，作者在系统设计中还引入了'可调检测灵敏度'的概念。通过修改 Prompt 中的参数，IDS-Agent 可以在'激进（Aggressive）'、'平衡（Balanced）'和'保守（Conservative）'三种检测模式之间切换。激进模式优先检测攻击、容忍一定误报；保守模式则更注重降低误报率。这一机制体现了 LLM 在任务指令理解和策略调整方面的优势，使安全分析人员能够根据实际场景快速调整系统策略，而无需修改底层模型结构。

四、实验结果与分析

1. 多分类与二分类性能

表 1 展示了 IDS-Agent 与各基线方法在 ACI-IoT'23 与 CIC-IoT'23 上的综合表现。从结果来看，IDS-Agent 无论在二分类还是多分类任务上都显著优于对比方法。在 ACI-IoT'23 数据集上，使用 GPT-4o 的 IDS-Agent 在多分类任务中达到了 0.980 的总体准确率与 0.975 的 F1 值；而在 CIC-IoT'23 上的多分类任务中，其宏平均 F1 值为 0.750，比多数投票基线（0.699）和 GPT-4 基线（0.510）均有明显提升。

此外，在二分类任务中（恶意/正常流量），IDS-Agent 的误报率仅为 0.03，远低于 GPT-4 基线（0.497），表明其在保持高灵敏度的同时，具备出色的稳定性与精确性。作者指出，这一结果得益于 IDS-Agent 的推理型聚合机制，它在面对分类器输出不一致时，能通过知识检索与上下文推理做出更合理的判断，而非单纯依赖投票结果。

2. 可解释性与决策追踪

论文通过案例分析（图 2）展示了 IDS-Agent 的推理能力。当三种分类器将流量误判为'Benign'，而另三种预测为'Reconnaissance Attack'时，IDS-Agent 通过知识检索了解到'Host Discovery'和'OS Scan'属于侦察类攻击，并结合历史记忆中相似流量的特征模式，最终判定该样本为'Reconnaissance'。这一过程不仅提高了检测准确率，还生成了可读的解释文本，说明系统如何整合模型输出与外部知识来得出结论。该特性大幅提升了 IDS 在安全运维中的可用性，使其具备'可审计'与'可追踪'的特征。

3. 零日攻击检测

为评估 IDS-Agent 识别未知攻击的能力，作者在 CIC-IoT'23 数据集中将 9 类攻击排除出训练集，作为'未见攻击'进行测试，并与两种专门为零日检测设计的方法——ACGAN（Zhao et al., 2022）和 RealNVP（Matejek et al., 2024）进行对比。结果如表 2 所示，IDS-Agent 在零日攻击检测任务中表现出色，平均召回率达 0.61，明显优于 ACGAN（0.41）与 RealNVP（0.47）。尤其在'Vulnerability Scan'与'SQL Injection'等高危攻击类型上，其召回率分别达到 0.95 与 0.86，展现出强大的泛化与自适应能力。

作者指出，这一性能得益于系统的多源融合机制：当分类器的预测置信度普遍较低或分歧较大时，IDS-Agent 自动触发知识检索与长期记忆调用，从知识与经验角度辅助决策，从而有效弥补传统模型面对未知分布时的盲区。

4. 消融实验与模块贡献

为了分析不同模块对整体性能的影响，作者分别关闭了知识检索模块（Knowledge Retrieval Module, KRM）和长期记忆模块（Long-term Memory Module, LMM），结果如表 3 和表 4 所示。在移除知识检索模块的情况下，系统在零日检测任务中的召回率从 0.61 下降至 0.42；移除长期记忆模块后，召回率下降至 0.56。这表明外部知识和历史经验在推理过程中起到了互补作用：前者增强了系统对未知威胁的认知能力，后者提升了系统在复杂时间相关攻击中的判断一致性。

5. 灵敏度调节与可控性

IDS-Agent 支持通过 Prompt 参数调整检测灵敏度。论文在 ACI-IoT'23 数据集上对三种检测模式进行了评估，如表 5 所示，在'激进模式（Aggressive）'下，系统对攻击样本的召回率达到 0.97，但对正常流量的召回率略降至 0.90；'保守模式（Conservative）'则将正常流量召回率提升至 0.98，但攻击召回率降低至 0.85。作者强调，这种可控机制使系统能够根据不同安全策略（如高风险环境或资源受限设备）灵活调整检测阈值，而无需额外训练。

通过系列实验，IDS-Agent 在多个方面展示出显著优势。其检测性能在已知与未知攻击场景中均优于传统与 LLM 基线模型；其推理与聚合机制使得系统能够提供可解释、可追溯的检测结果；其知识与记忆模块有效提升了对零日攻击的识别能力；而灵敏度调节机制则赋予系统高度的实用灵活性。总体而言，实验部分充分验证了 IDS-Agent 的设计思想：通过将 LLM 的推理与工具调用机制嵌入入侵检测流程，系统能够实现超越传统模型的认知检测能力，既提升性能，又实现了真正意义上的可解释智能安全防御。

五、总结与展望

1. 系统优势与启示

IDS-Agent 的主要优势在于其多源融合与动态推理能力。系统能够在分类器结果冲突时主动检索外部知识、调用历史经验，并通过逻辑推理达成解释一致的判断。这种机制带来了三方面的提升：

• （1）检测性能显著提高，F1 值和召回率均超越现有方法；
• （2）检测过程具备语义解释链条，提升了安全可审计性；
• （3）架构高度可扩展，能够无缝接入新模型与知识源。

更重要的是，IDS-Agent 展示了一种新的安全系统思路：让检测模型具备'理解与解释'的能力。这不仅提升了系统的可信度，也使安全专家能够将其作为辅助分析工具，用以解释复杂攻击行为。该研究为未来智能安全体系的设计提供了可借鉴的架构基础。

2. 局限性与挑战

尽管 IDS-Agent 在性能与智能化方面均表现突出，但仍存在若干局限。

• 一是推理效率问题。由于每次检测都需多次工具调用与知识检索，平均推理延迟约为 8.6 秒（见论文表 10），在高并发场景中仍有优化空间。
• 二是外部知识质量依赖。系统的知识增强效果取决于检索内容的可靠性，不一致或冗余的信息可能导致错误推理。
• 三是模型依赖与部署成本。系统目前依赖于商业化 LLM（如 GPT-4o），在隐私与资源受限的场景下部署仍具挑战。

此外，当前的解释结果仍以自然语言呈现，尚缺乏形式化表达与策略可执行性，这限制了自动防御的进一步发展。

3. 未来研究方向

未来工作可从以下几个方向拓展：

• 轻量化与本地化：开发基于开源 LLM 的高效版本，降低推理延迟与资源消耗；
• 持续学习与自适应记忆：让系统在运行中动态更新知识与经验，实现长期演化；
• 多智能体协作：构建多 Agent 框架，使不同安全智能体分工协同完成入侵检测、漏洞分析与威胁响应；
• 图结构与因果推理融合：结合图神经网络与因果关系分析，捕捉攻击链的结构依赖与演化特征。

这些方向将进一步推动 IDS-Agent 从智能检测走向自主防御，实现真正意义上的'认知安全体系'。