Claude 官方 Skill-Creator：AI 技能工程化完整体系解析

2.2 源码目录结构

核心目录包括：SKILL.md（核心技能定义文档）、LICENSE.txt、agents（子智能体指令文档）、scripts（可执行 Python 工具）、references（参考文档）、eval-viewer（交互式审核界面）、assets（模板文件）。

其中 scripts 目录下的脚本是实现自动化流程的核心，如 run_eval.py、run_loop.py、improve_description.py 等，覆盖了从测试到优化、从报告生成到打包发布的全流程。

五、核心文件解析：SKILL.md——Skill 的'身份证'与'操作手册'

SKILL.md 是最核心的文件，既是 Skill 的定义文档，也是模型执行 Skill 的操作手册。

3.1 YAML Frontmatter：必填元数据规范

YAML Frontmatter 是 SKILL.md 的开头部分，属于必填内容，核心字段是 name 和 description。name 采用 kebab-case 格式，description 用于描述 Skill 的功能和触发场景。此外还有 license、allowed-tools 等可选字段。

3.2 Description 设计：提升触发精度的关键

Description 直接决定了 Skill 的触发精度。由于 Claude 存在'欠触发'的倾向，Description 的设计需要有一定的'推动性'，明确列出触发场景，引导模型主动使用 Skill。一个优质的 Description 需要包含功能、触发场景、触发理由三个核心要素。

3.3 正文结构与写作风格

正文结构有固定的模式，包括 Skill 名称、概述、与用户沟通、创建/执行流程、评估与改进、高级功能、平台适配、参考文件等。写作风格上，使用祈使语气，解释 Why 而非强制 Must，示例驱动，避免过度约束。

六、多智能体系统设计：分工协作，实现评测与优化的自动化

Skill-Creator 的评测和优化流程之所以能实现自动化，核心在于其多智能体系统的设计。

4.1 Grader Agent（评分智能体）

承担双重使命：一是对 Skill 的执行输出进行评分，判断每个期望是否通过；二是批判评估的质量，识别弱断言、遗漏断言。遵循'严格证据导向'的原则，PASS 需要有明确的证据证明期望为真。

4.2 Comparator Agent（盲比较智能体）

职责是在不知道哪个 Skill 产生了哪个输出的情况下，判断哪个输出更好。这种'盲比较'的设计是为了消除偏见。评分体系分为内容维度和结构维度，采用 1-5 分标准。

4.3 Analyzer Agent（分析智能体）

有两个完全独立的模式：事后分析模式和基准分析模式。事后分析模式主要在盲比较完成后运行，生成带优先级的改进建议；基准分析模式主要负责发现模式和异常，不提出改进建议。

七、评估与测试体系：科学验证 Skill 效果

Skill-Creator 的核心价值之一，就是将'测试'融入到 Skill 开发的每一个环节。

5.1 测试执行流程

1. 并行启动所有运行：包括使用 Skill 的运行和基线运行。
2. 利用等待时间起草断言：断言必须客观可验证，要有区分力。
3. 捕获计时数据：包括 total_tokens、duration_ms 等。
4. 评分、聚合、启动查看器：由 Grader Agent 评分，aggregate_benchmark.py 聚合，Eval Viewer 查看。
5. 读取反馈：用户通过 Eval Viewer 提交 feedback.json 文件。

5.2 Eval Viewer：交互式人工审核工具

Eval Viewer 提供了直观的界面，方便用户查看测试结果、评分详情和输出文件。包含 Outputs 标签页和 Benchmark 标签页，支持实时刷新。

八、描述优化系统：提升触发精度

即使 Skill 的执行效果很好，如果无法在正确的场景下被触发，也无法发挥其价值。Skill-Creator 的描述优化系统，就是为了解决 Skill 的触发问题。

6.1 核心认知

Claude 只会为自己无法轻易独立处理的任务咨询 Skill。因此，Description 的优化不仅要提升触发率，还要避免'误触发'。

6.2 描述优化流程

1. 生成触发评估查询集：共 20 条查询，分为应触发和不应触发两类。
2. 用户审核：编辑查询、切换类型，导出为 eval_set.json。
3. 运行优化循环：通过 run_loop.py 脚本，引入 train/test split 机制，防止过拟合。
4. 应用结果：将优化后的 best_description 更新到 SKILL.md 的 Frontmatter 中。

6.3 关键设计：防过拟合与脚本细节

Blinded History（盲历史）是防止过拟合的关键。run_loop.py 脚本在调用 improve_description.py 时，会剥除所有与测试集相关的数据，只将训练集的结果传入改进模型。

九、关键工程机制：企业复用的核心

Skill-Creator 的很多核心价值，都藏在源码的工程机制中。

• run_eval.py：通过 claude -p + 流式事件检测，判断 Skill 是否被调用。需移除 CLAUDECODE 环境变量以避免嵌套执行失败。
• run_loop.py：将 Description 优化建模为机器学习问题，提供多个可配置参数。
• aggregate_benchmark.py：动态配置发现，双目录布局支持，Delta 计算。
• generate_review.py：Python 侧零依赖，双模式服务，实时内容刷新。

十、实操指南与企业落地建议

8.1 从零开始创建 Skill

分为五个阶段：意图与调研、编写 Skill、测试与评估、迭代改进、优化与发布。核心是明确需求、生成规范文档、验证效果、优化触发率。

8.2 更新已有 Skill

注意保留原始 name、复制到可写目录再编辑、打包时先暂存到临时目录、改进模式的基线处理。

8.3 企业落地建议

• 组织分工：设置 Skill Owner、Skill Engineer、Evaluator、Governance 角色。
• 目录规范：每个业务 Skill 强制包含 SKILL.md、evals、references、scripts。
• 指标体系：设置质量指标、触发指标、成本指标、人审指标。
• 落地路线图：试点、工程化、规模化三个阶段。

十一、总结：Skill-Creator 的价值与未来展望

Claude 官方 Skill-Creator 的出现，不仅降低了 AI Skill 的开发门槛，更重要的是，它将 AI 技能开发从'经验驱动'升级为'工程化驱动'。它解决了企业在 AI 技能落地中的三大痛点：技能质量无法保证、触发精度低、难以持续迭代。随着 AI Agent 技术的发展，Skill 系统将成为 AI 能力扩展的核心载体，Skill-Creator 也将不断迭代优化，进一步降低企业的落地成本，提升 Skill 开发的效率和质量。