Prompt 编写的日志分析与关键字聚类

1. 格式适配：通过 Prompt 定义日志格式规则，让 LLM 聚焦有效信息。
2. 目标明确：指定分析目标，避免输出冗余内容。
3. 逻辑引导：提供聚类逻辑，让 LLM 按指定维度完成聚类。

三、日志分析类 Prompt 的编写框架与技巧

（一）通用编写框架

一个完整的日志分析 Prompt 应包含以下 5 个模块：

# 日志分析 Prompt 通用框架
1. 角色设定：请你扮演一名 [运维工程师/用户行为分析师]，具备 [日志格式解析] 能力。
2. 日志数据输入：以下是待分析的日志数据。
[此处粘贴日志数据]
3. 分析目标定义：请完成以下分析任务。
[具体任务]
4. 输出格式要求：请按以下格式输出结果。
[具体格式]
5. 补充约束条件（可选）：[忽略 DEBUG 级别等]

（二）分场景编写技巧与示例

场景 1：异常日志定位（运维常用）

核心需求：筛选错误/致命级别的日志，并提取关键故障信息。

Prompt 示例：

# 异常日志定位 Prompt
1. 角色设定：资深运维工程师，擅长定位故障信息。
2. 日志数据输入：某电商服务器的应用日志片段。
[粘贴日志]
3. 分析目标定义：筛选 ERROR 和 FATAL 级别日志；提取日志时间、级别、异常类型、涉及资源。
4. 输出格式要求：表格形式。
5. 补充约束条件：忽略 DEBUG 和 WARN 级别。

预期输出：

场景 2：日志统计汇总（产品/运营常用）

核心需求：对某类日志进行量化统计，如访问次数、转化率。

Prompt 示例：

# 日志统计汇总 Prompt
1. 角色设定：电商产品分析师。
2. 日志数据输入：用户行为日志。
3. 分析目标定义：统计操作次数、独立用户数、计算转化率。
4. 输出格式要求：表格 + 文字说明。
5. 补充约束条件：独立用户数去重。

场景 3：日志趋势分析（运维/数据常用）

核心需求：分析某类日志在一段时间内的变化趋势，识别峰值时段。

Prompt 示例：

# 日志趋势分析 Prompt
1. 角色设定：数据分析师。
2. 日志数据输入：每小时统计日志。
3. 分析目标定义：识别峰值/低谷时段，描述整体趋势，推测原因。
4. 输出格式要求：列表 + 文字描述。
5. 补充约束条件：原因需结合数据。

四、关键字聚类类 Prompt 的编写框架与实战

（一）通用编写框架

关键字聚类类 Prompt 的通用框架分为 6 个模块：

# 关键字聚类 Prompt 通用框架
1. 角色设定：数据分析师/NLP 工程师。
2. 待聚类关键字输入：关键字列表。
3. 聚类维度定义：按指定维度聚类。
4. 聚类规则说明：类别命名及归属规则。
5. 输出格式要求：类别名称 + 关键字列表。
6. 补充约束条件：类别数量控制等。

（二）分维度实战案例

维度 1：按'故障类型'聚类（运维场景）

Prompt 示例：

# 按故障类型的关键字聚类 Prompt
1. 角色设定：运维工程师。
2. 待聚类关键字输入：数据库连接超时、502 Bad Gateway 等。
3. 聚类维度定义：代码异常、资源连接、服务器错误。
4. 聚类规则说明：每个关键字必须归为一类。
5. 输出格式要求：类别名称 + 所属关键字 + 说明。

维度 2：按'用户行为阶段'聚类（产品场景）

Prompt 示例：

# 按用户行为阶段的关键字聚类 Prompt
1. 角色设定：电商产品经理。
2. 待聚类关键字输入：进入详情页、提交订单等。
3. 聚类维度定义：浏览阶段、互动阶段、转化阶段。
4. 聚类规则说明：贴合阶段定义，不新增类别。
5. 输出格式要求：类别名称 + 关键字 + 典型用户路径。

五、Prompt 编写的常见误区与避坑指南

1. 日志数据输入过于简略：缺乏上下文，导致 LLM 无法判断字段含义。建议提供完整日志片段或格式示例。
2. 分析目标模糊：未明确'输出什么'。建议用'动词 + 宾语 + 维度'的结构明确目标。
3. 关键字聚类维度不清晰：导致类别混乱。建议为每个维度提供'定义 + 示例'。
4. 输出格式未指定：结果难以复用。建议根据需求选择表格、列表等格式模板。
5. 忽略边缘场景：如分母为 0 的情况。建议在约束条件中说明处理方式。
6. 角色设定与场景不匹配：输出偏离需求。建议角色设定需与分析场景匹配。

六、高级实战：结合工具的日志分析与聚类方案

（一）结合 ELK Stack + Prompt

ELK Stack 可先筛选出关键日志片段，再用 Prompt 进行深度分析。

流程：

1. ELK 预处理：在 Kibana 设置时间范围和过滤条件，导出筛选后的日志。
2. Prompt 分析：将导出的日志粘贴到 Prompt 中，统计错误类型、接口分布等。

Prompt 示例：

# ELK 筛选后日志的 Prompt 分析
1. 角色设定：运维工程师。
2. 日志数据输入：[粘贴 ELK 导出的 JSON 日志]。
3. 分析目标定义：统计错误类型、高频接口、高频 IP。
4. 输出格式要求：表格 + 列表 + 文字说明。

（二）结合 Python + Prompt

当日志非结构化时，先用 Python 转换为结构化格式（JSON/CSV），再用 Prompt 聚类。

Python 代码示例：

import re
import json

raw_logs = [
    "2024-05-20 19:30:05 ERROR Thread-456 数据库连接超时 URL: jdbc:mysql://...",
    "2024-05-20 19:30:08 WARN Thread-789 内存使用率达 85% 服务器 IP: ..."
]

structured_logs = []
pattern = r"(\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}) (\w+) (\w+) (.+?) (URL: .+?|IP: .+?)$"

for log in raw_logs:
    match = re.match(pattern, log)
    if match:
        structured_logs.append({
            "time": match.group(1),
            "level": match.group(2),
            "thread_id": match.group(3),
            "message": match.group(4),
            "resource": match.group(5)
        })

print(json.dumps(structured_logs, ensure_ascii=False, indent=2))

Prompt 聚类：将转换后的 JSON 日志粘贴到 Prompt 中，按'涉及资源'分类。

七、总结与后续学习建议

（一）核心总结

日志分析与关键字聚类的 Prompt 编写，核心是'清晰传递需求'。围绕'需求精准化、数据结构化、逻辑清晰化'三个原则展开，才能让 LLM 输出符合实际工作需求的结果。

（二）后续学习建议

1. 熟悉不同日志格式：掌握字段含义，这是编写精准 Prompt 的基础。
2. 尝试多模型对比：不同 LLM 在日志分析中的表现存在差异，选择最适合场景的模型。
3. 学习工具集成：结合 Excel、PowerBI 等工具，形成完整 workflow。
4. 积累行业案例：收集典型日志分析场景，积累对应的 Prompt 模板。