Prompt 编写实战：日志分析与关键字聚类技巧

场景 2：日志统计汇总（产品/运营常用）

需求：量化统计某类日志指标，如访问次数、转化率。

技巧：使用分隔符（如 |）降低解析难度，明确去重逻辑与分母为 0 的处理方式。

场景 3：日志趋势分析（数据常用）

需求：识别峰值时段、异常波动点并推测原因。

技巧：按'时间区间 + 统计值'组织数据，要求原因必须结合数据说明，避免主观臆断。

三、关键字聚类类 Prompt 实战

关键字聚类的关键在于'维度定义'和'类别命名'。通用框架增加'聚类维度定义'模块。

维度 1：按'故障类型'聚类（运维）

Prompt 要点：明确区分'代码异常'、'资源连接'与'服务器错误'，处理歧义关键字（如'线程池耗尽'）。

维度 2：按'用户行为阶段'聚类（产品）

Prompt 要点：划分'浏览、互动、转化'三个阶段，理解各阶段的业务价值与典型路径。

四、常见误区与避坑指南

实际编写中，新手常因需求模糊导致结果不可用。以下是 6 个高频误区及对策：

1. 日志输入简略：缺乏上下文会导致 LLM 无法判断字段含义。对策：提供完整格式示例或数据来源说明。
2. 目标模糊：未明确输出什么。对策：用'动词 + 宾语 + 维度'结构，拆解复杂任务。
3. 聚类维度不清：导致类别混乱。对策：提供定义 + 示例，优先选择互斥性强的维度。
4. 输出格式未指定：结果难以复用。对策：根据需求选择表格、列表或 JSON 模板。
5. 忽略边缘场景：如分母为 0。对策：在约束条件中预判并说明处理方式。
6. 角色不匹配：如用运维视角分析用户行为。对策：角色设定需与分析场景一致。

五、高级实战：工具集成方案

面对 GB 级日志，LLM 上下文有限，建议采用'工具预处理 + Prompt 分析'的组合拳。

1. ELK Stack + Prompt

利用 Kibana 筛选关键日志片段（如特定时间段的状态码 500），导出后送入 Prompt 进行深度提取与统计。

2. Python + Prompt

非结构化日志可先用 Python 转换为 JSON 格式，再送入 Prompt 聚类。

Python 预处理示例：

import re
import json

raw_logs = [
    "2024-05-20 19:30:05 ERROR Thread-456 数据库连接超时 URL: jdbc:mysql://192.168.1.100:3306/shop",
    "2024-05-20 19:30:08 WARN Thread-789 内存使用率达 85% 服务器 IP: 192.168.1.200"
]

structured_logs = []
pattern = r"(\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}) (\w+) (\w+) (.+?) (URL: .+?|IP: .+?)$"

for log in raw_logs:
    match = re.match(pattern, log)
    if match:
        structured_logs.append({
            "time": match.group(1),
            "level": match.group(2),
            "thread_id": match.group(3),
            "message": match.group(4),
            "resource": match.group(5)
        })

print(json.dumps(structured_logs, ensure_ascii=False, indent=2))

转换后的 JSON 可直接用于 Prompt 聚类，例如按'涉及资源'分类，帮助快速定位问题根源。

六、总结与建议

日志分析与关键字聚类的核心在于'清晰传递需求'。通过角色设定明确视角，日志输入提供数据，目标定义拆解任务，格式要求确保可用。

后续学习建议：

1. 熟悉日志格式：掌握 HTTP 状态码、日志级别等字段含义。
2. 多模型对比：不同 LLM 在处理长文本或复杂逻辑时表现各异，按需选择。
3. 工具集成：结合 Excel、PowerBI 等工具，形成完整工作流。
4. 积累案例：针对行业场景收集典型 Prompt 模板，减少重复工作。

通过以上实践，可逐步构建自动化日志处理体系，让 Prompt 真正成为提升效率的利器。