Claude 官方 Skill-Creator：AI 技能工程化体系解析

4.1 三大核心功能模块

• 创建模块：核心职责是将用户的意图转化为结构化的 SKILL.md 文档，包含意图捕获、面试调研、SKILL.md 生成。
• 评测模块：负责对 Skill 的效果进行科学的测试和评估，包含并行测试、评分系统、基准聚合、可视化审核等功能，依赖 Grader Agent、Comparator Agent 和 Analyzer Agent。
• 优化模块：负责根据评测结果和用户反馈，对 Skill 进行持续改进，包括描述优化、盲比较、循环改进和打包发布。

4.2 源码目录结构

从目录结构来看，Skill-Creator 的源码组织非常清晰：

• SKILL.md：核心技能定义文档（485 行）。
• agents：子智能体指令文档。
• scripts：可执行 Python 工具，包含评估、优化、打包等相关脚本。
• references：参考文档，包含所有 JSON 格式规范。
• eval-viewer：交互式审核界面。
• assets：模板文件。

重点关注 scripts 目录下的脚本，如 run_eval.py（触发评估脚本）、run_loop.py（完整优化循环脚本）、improve_description.py（描述改进脚本）等，这些脚本覆盖了从测试到优化的全流程。

五、核心文件解析：SKILL.md——Skill 的'身份证'与'操作手册'

5.1 YAML Frontmatter：必填元数据规范

YAML Frontmatter 是 SKILL.md 的开头部分，主要包含 Skill 的元数据。核心字段是 name 和 description。其中 name 采用 kebab-case 格式，最长 64 字符；description 最长 1024 字符，100-200 词最佳。此外还有可选字段如 license、allowed-tools 等。

5.2 Description 设计：提升触发精度的关键

Description 直接决定了 Skill 的触发精度。Anthropic 官方特别指出，Claude 存在'欠触发'的倾向。因此，Description 的设计需要有一定的'推动性'，明确列出触发场景，引导模型主动使用 Skill。一个优质的 Description 需要包含三个核心要素：Skill 的功能、触发场景、触发理由。

5.3 正文结构与写作风格

SKILL.md 的正文结构有固定模式，包括 Skill 名称、概述、与用户沟通、创建/执行流程、评估与改进、高级功能、平台适配、参考文件等。写作风格上，建议使用祈使语气，解释 Why 而非强制 Must，示例驱动，避免过度约束。

六、多智能体系统设计：分工协作，实现评测与优化的自动化

6.1 Grader Agent（评分智能体）

Grader Agent 承担着双重使命：一是对 Skill 的执行输出进行评分；二是批判评估的质量。其工作流程包括读取执行记录、检查输出文件、逐条评估断言、提取隐含声明、读取用户笔记、批判评估质量、写入评分结果等。评分标准遵循'严格证据导向'原则。

6.2 Comparator Agent（盲比较智能体）

Comparator Agent 的职责是在不知道哪个 Skill 产生了哪个输出的情况下，判断哪个输出更好。这种'盲比较'的设计是为了消除偏见。评分体系分为内容维度（正确性、完整性、准确性）和结构维度（组织性、格式化、可用性）。

6.3 Analyzer Agent（分析智能体）

Analyzer Agent 有两个完全独立的模式：事后分析模式和基准分析模式。事后分析模式主要在盲比较完成后运行，核心是'解盲'分析，生成带优先级的改进建议。基准分析模式主要在基准测试聚合后运行，核心职责是发现模式和异常，禁止提出改进建议。

七、评估与测试体系：科学验证 Skill 效果

7.1 测试执行流程

测试执行流程分为 5 个关键步骤：

1. 并行启动所有运行（with-skill 和 without-skill）。
2. 利用等待时间起草断言，断言必须客观可验证。
3. 捕获计时数据（total_tokens、duration_ms）。
4. 评分、聚合、启动查看器。
5. 读取反馈，聚焦于有具体意见的用例。

7.2 Eval Viewer：交互式人工审核工具

Eval Viewer 提供了直观的界面，方便用户查看测试结果、评分详情和输出文件。它包含 Outputs 标签页和 Benchmark 标签页，支持实时刷新，大幅提升了人工审核的效率。

八、描述优化系统：提升触发精度

8.1 核心认知

Claude 只会为自己无法轻易独立处理的任务咨询 Skill。因此，Description 的优化不仅要提升触发率，还要避免'误触发'。

8.2 描述优化流程

描述优化流程分为四个步骤：

1. 生成触发评估查询集（应触发和不应触发两类）。
2. 用户审核，导出为 eval_set.json。
3. 运行优化循环，通过 run_loop.py 脚本启动自动化优化循环，引入 train/test split 防止过拟合。
4. 应用结果，将优化后的 best_description 更新到 SKILL.md 中。

8.3 关键设计

防过拟合的关键设计是 Blinded History（盲历史）。run_loop.py 脚本在调用 improve_description.py 时，会剥除所有与测试集相关的数据，只将训练集的结果传入改进模型。improve_description.py 脚本通过 claude -p 子进程调用 Claude，避免了因 Prompt 过长超出 argv 长度限制的问题。

九、关键工程机制：企业复用的核心

9.1 run_eval.py：触发评测引擎

run_eval.py 的核心创新是通过 claude -p + 流式事件检测，判断 Skill 是否被调用。技术实现包括注入被测描述、流式早期检测、嵌套执行处理（移除 CLAUDECODE 环境变量）。

9.2 run_loop.py：自动优化循环

run_loop.py 将 Description 优化建模为机器学习问题，引入 train/test split 防过拟合，并提供多个可配置参数，如 --holdout、--max-iterations 等。

9.3 aggregate_benchmark.py：基准聚合脚本

该脚本支持动态配置发现、双目录布局支持、Delta 计算。统计精度使用样本标准差，但不做显著性检验。

9.4 generate_review.py：人审界面脚本

该脚本 Python 侧零依赖，仅使用 Python 标准库。支持 Server 模式和静态 HTML 模式，支持丰富的文件嵌入和跨迭代对比。

十、实操指南与企业落地建议

10.1 从零开始创建 Skill

流程分为五个阶段：

1. 意图与调研：明确需求、边界、输出格式。
2. 编写 Skill：生成符合规范的 SKILL.md 和相关资源。
3. 测试与评估：验证效果，发现问题。
4. 迭代改进：基于反馈优化 Skill。
5. 优化与发布：提升触发精度，完成发布。

10.2 更新已有 Skill

需注意保留原始 name、复制到可写目录编辑、打包时先暂存到/tmp/目录、改进模式的基线处理。

10.3 企业落地建议

• 组织分工：设置 Skill Owner、Skill Engineer、Evaluator、Governance 角色。
• 目录规范：每个业务 Skill 强制包含 SKILL.md、evals、references、scripts。
• 指标体系：设置质量、触发、成本、人审指标。
• 落地路线图：试点 -> 工程化 -> 规模化。

企业在复用 run_eval.py 脚本时，需确保移除 CLAUDECODE 环境变量，评估集中避免重复查询，统一 with_skill 目录名排在基线目录之前。

十一、总结

Claude 官方 Skill-Creator 的出现，不仅降低了 AI Skill 的开发门槛，更重要的是，它将 AI 技能开发从'经验驱动'升级为'工程化驱动'，建立了一套标准化、可度量、可迭代的 Skill 开发体系。它不是一个简单的工具，而是一个完整的'Skill 工厂'，涵盖了从需求调研、文档撰写、测试评估到优化发布的全生命周期。