Claude 官方 Skill-Creator：AI 技能工程化完整体系解析

2. 核心组件关系

SKILL.md 接收用户意图输出结构化指令；Grader Agent 输出 grading.json；Comparator Agent 输出 comparison.json；Analyzer Agent 输出 analysis.json；Eval Viewer 提供可视化审核界面输出 feedback.json。

3. 源码目录结构

源码组织清晰，核心目录包括 SKILL.md（485 行核心定义）、LICENSE.txt、agents（子智能体指令）、scripts（Python 工具）、references（JSON 规范）、eval-viewer（审核界面）和 assets（模板）。其中 scripts 目录下的脚本如 run_eval.py、run_loop.py 等覆盖了从测试到优化的全流程。

五、核心文件解析：SKILL.md——Skill 的'身份证'与'操作手册'

SKILL.md 是整个体系中最核心的文件，既是定义文档也是操作手册。

1. YAML Frontmatter 规范

必填字段包括 name（kebab-case 格式，最长 64 字符）和 description（100-200 词最佳）。可选字段包括 license、allowed-tools 等。注意 Claude Code 产品实际支持更多字段，如 user-invocable。

2. Description 设计

Description 直接决定触发精度。由于 Claude 存在'欠触发'倾向，描述需有一定的'推动性'。优质 Description 应包含功能、触发场景和触发理由，使用祈使语气明确告诉模型何时使用。

3. 正文结构与写作风格

正文结构通常包含概述、沟通方式、执行流程、评估改进、高级功能、平台适配和参考文件。写作风格上强调使用祈使语气、解释 Why 而非强制 Must、示例驱动，并避免过度约束。

六、多智能体系统设计：分工协作实现自动化

评测和优化流程的自动化依赖于三个核心子智能体的设计。

1. Grader Agent（评分智能体）

承担双重使命：对执行输出评分，判断期望是否通过；批判评估断言质量。工作流程包括读取记录、检查文件、逐条评估断言、提取隐含声明、读取用户笔记、写入评分结果等。遵循'严格证据导向'原则，不确定时举证责任在期望一方。

2. Comparator Agent（盲比较智能体）

在不知道哪个 Skill 产生哪个输出的情况下判断优劣，消除偏见。评分体系分内容和结构维度，采用 1-5 分标准。决策优先级先看总体评分，其次看断言通过率，平局罕见。

3. Analyzer Agent（分析智能体）

有两个独立模式：事后分析模式和基准分析模式。事后分析用于解盲，识别赢家优势和输家劣势，生成改进建议；基准分析用于发现模式和异常，禁止提出改进建议，只输出观察笔记。

七、评估与测试体系：科学验证避免无效优化

测试执行流程分为五个关键步骤：

1. 并行启动所有运行：包括 with-skill 和 without-skill，确保环境一致性。
2. 起草断言：利用等待时间起草客观可验证、有区分力的断言。
3. 捕获计时数据：及时捕获 total_tokens 和 duration_ms 等成本数据。
4. 评分、聚合、查看器：Grader 评分，脚本聚合，启动 Eval Viewer 审核。
5. 读取反馈：空反馈代表认可，有反馈则聚焦具体用例改进。

工作空间目录结构分为基本迭代结构和基准测试结构，后者适用于计算方差。Eval Viewer 支持实时刷新，大幅提升人工审核效率。

八、描述优化系统：提升触发精度

即使执行效果好，若无法触发也无价值。描述优化系统旨在解决触发问题。

1. 核心认知

Claude 只会为自己无法轻易独立处理的任务咨询 Skill。优化不仅要提升触发率，还要避免误触发。

2. 优化流程

分为四个步骤：生成触发评估查询集（20 条，含应触发和不应触发）；用户审核编辑查询集；运行优化循环（引入 train/test split 防过拟合）；应用最佳描述。

3. 关键设计

防过拟合的关键是 Blinded History（盲历史），改进模型完全不知道测试集的存在。improve_description.py 脚本通过 claude -p 调用，避免 Prompt 过长限制，并根据 false negative/positive 案例驱动改进。

九、关键工程机制：企业复用的核心

Skill-Creator 的价值藏在源码的工程机制中。

• run_eval.py：通过 claude -p + 流式事件检测判断 Skill 是否被调用，支持嵌套执行处理。
• run_loop.py：将描述优化建模为机器学习问题，支持配置参数如 holdout 比例、最大迭代次数等。
• aggregate_benchmark.py：动态配置发现，支持双目录布局，计算 Delta 差值。
• generate_review.py：Python 侧零依赖，支持 Server 模式和静态模式，实时刷新内容。

十、实操指南与企业落地建议

1. 从零开始创建 Skill

分为五个阶段：意图与调研、编写 Skill、测试与评估、迭代改进、优化与发布。每个阶段都有明确的操作步骤，确保流程规范。

2. 更新已有 Skill

需注意保留原始 name、复制到可写目录编辑、打包时暂存到临时目录、改进模式基线处理等关键点。

3. 企业落地建议

• 组织分工：设置 Skill Owner、Skill Engineer、Evaluator、Governance 角色。
• 目录规范：强制包含 SKILL.md、evals、references、scripts。
• 指标体系：设置质量、触发、成本、人审四类上线门槛。
• 落地路线图：分试点、工程化、规模化三个阶段推进。

十一、总结

Claude 官方 Skill-Creator 的出现，将 AI 技能开发从'经验驱动'升级为'工程化驱动'。它解决了技能质量无法保证、触发精度低、难以持续迭代三大痛点。对于企业而言，掌握这套工程化体系比盲目跟风更重要；对于从业者，理解其设计理念能深入掌握 AI Agent 的工程化思维。