为什么选择 AI 视觉编程模型
关键特性：
作为具备视觉理解能力的编程模型，在以下几个关键方面表现出色：
- 视觉理解能力：能够直接理解界面截图，提供针对性的优化建议
- 代码生成质量：针对复杂的编辑器扩展代码有很好的生成能力
- 上下文理解：能够理解复杂的 Unity Editor API 使用场景
- 迭代优化支持：支持通过多轮对话逐步完善功能
实践过程全记录
项目背景
之前开发了一个 Unity 编辑器插件，用于管理两种类型的节点数据：基础节点（Node）和持续节点（HoldNode）。基础节点在特定时间点触发，而持续节点则会在时间到达后持续触发指定的时长。
初始版本虽然功能完整，支持节点的添加、编辑、删除以及通过拖拽调整触发时机，但界面设计较为简陋，用户体验有待提升。特别是对于 HoldNode，用户只能通过输入数值来调整持续时间，缺乏直观的视觉交互。
界面重构与科技风格设计
初始输入：
上传当前编辑器界面截图，并附上提示词：
'当前实现的 Unity 编辑器插件如图，基于以上功能，重新设计编辑器 UI，要求样式精美，科技风格'
AI 视觉编程模型深度思考结果：
用户现在需要把 NoteAsset 编辑器改成科技风格，首先得回忆科技风格的特点：深色背景、霓虹色调、几何元素、线条感、玻璃态或者赛博朋克风的 UI。首先，我需要从整体布局、色彩方案、组件样式三个方面入手。 首先，色彩方案：科技风一般用深色（比如 #0d1117 或者更深的背景），搭配霓虹蓝、霓虹绿、霓虹紫这些高饱和度的颜色作为强调色。然后，UI 元素要加边框、发光效果、渐变，比如按钮用渐变背景，文字用发光描边，轨道用半透明玻璃态。 然后，整体布局：原来的工具栏、拖放区、主编辑区要保留，但样式要改。比如工具栏用深色渐变，按钮加悬停发光效果；时间轴加霓虹刻度线；轨道用半透明毛玻璃效果，标题栏加边框；音符加发光边框和渐变填充，Hold 音符的端点用发光圆圈。
小结：
模型识别了科技风格的核心要素：
- 深色背景搭配霓虹色调
- 几何元素与线条感设计
- 玻璃态或赛博朋克风格 UI
- 渐变效果与发光边框
具体实现建议：
// 色彩方案建议
private Color darkBackground = new Color(0.05f, 0.07f, 0.1f);
private Color neonBlue = new Color(0.2f, 0.6f, 1.0f);
private Color neonGreen = new Color(0.0f, 1.0f, 0.4f);
// UI 元素样式优化
// 工具栏：深色渐变背景 + 悬停发光效果
// 时间轴：霓虹刻度线 + 层次分明设计
// 轨道：半透明毛玻璃效果 + 主题色区分
迭代优化过程：
通过多轮提示词调整，逐步完善细节：
- '时间轴刻度需要更加清晰，添加主要和次要刻度区分'
- '轨道标题需要更大的字体和更醒目的颜色'
- '节点需要悬停高亮效果和拖拽预览'
经过 3-4 轮迭代后，获得了符合期望的结果：
- 工具栏布局更加紧凑现代
- 时间轴刻度层次分明
- 轨道主题色区分明显
- 节点交互反馈直观
HoldNode 端点拖拽功能实现
核心需求：
为 HoldNode 类型节点添加左右端点拖拽功能，直观调整持续时间。
AI 视觉编程模型的技术分析：
模型展现了出色的逻辑推理能力，准确分析了实现要点：
- 拖动状态管理：
enum DragType { None, Left, Right, Note }
private DragType currentDragType = DragType.None;
- 端点碰撞检测：
// 计算左右端点的 Rect 区域
Rect leftMarkerRect = new Rect(noteX - markerSize/2, y, markerSize, markerSize);
Rect rightMarkerRect = new Rect(noteX + noteWidth - markerSize/2, y, markerSize, markerSize);
- 坐标转换逻辑：
// 像素坐标到时间值的转换
float PixelToTime(float pixelX) {
return (pixelX - timelineStartX) / pixelsPerSecond;
}
float TimeToPixel(float time) {
return timelineStartX + time * pixelsPerSecond;
}
- 边界处理与数据持久化：
// 确保时间值有效
newDuration = Mathf.Max(0, newDuration);
newStartTime = Mathf.Max(0, newStartTime);
// 数据保存
EditorUtility.SetDirty(noteAsset);
拖动逻辑的数学计算
模型准确推导出端点拖动的数学关系：
- 左端点拖动：调整开始时间，保持结束时间不变，重新计算持续时间
- 右端点拖动：调整结束时间，保持开始时间不变，重新计算持续时间
- 整个节点拖动：同时移动开始和结束时间，保持持续时间不变
实现结果：
基于视觉理解的布局优化
利用 AI 模型的视觉理解能力，优化已发现的布局问题：
优化提示词：
为了测试图理解能力，这里并未以文本的形式指出具体的修改内容。
AI 视觉编程模型深度思考结果：
模型的视觉分析结果：
模型准确识别了布局问题：
- 轨道高度不一致
- 时间轴与内容区域存在像素级偏差
- 控件间距缺乏统一规范
优化结果：
修改后，样式美观度有所改善。
开发过程中的挑战与解决方案
提示词工程的重要性
在使用过程中，发现精准的提示词对结果质量有显著影响：
初始提示词问题：
'修改编辑器样式' → 结果过于泛化，缺乏针对性
优化后的提示词：
'将工具栏按钮改为渐变背景，悬停时添加发光效果，点击时有按压反馈。使用深色背景 (#0d1117) 搭配霓虹蓝色 (#00a8ff) 作为主色调'
API 兼容性处理
在实现过程中遇到了一些 Unity Editor API 的兼容性问题：
// 问题：EditorStyles.toolbarLabel 在某些 Unity 版本中未定义
// 错误提示：error CS0117: 'EditorStyles' does not contain a definition for 'toolbarLabel'
// 解决方案：使用替代方案
GUIStyle toolbarLabelStyle = new GUIStyle(EditorStyles.label) {
alignment = TextAnchor.MiddleCenter,
fontStyle = FontStyle.Bold
};
性能优化考虑
模型生成的代码在性能方面也需要人工优化。
总结
优化前后对比
优化前为窗口（上）
通过 AI 模型迭代美化后的窗口（下）
视觉理解能力的实际价值
AI 视觉编程模型的视觉理解能力在以下场景中展现了独特价值：
- 界面问题诊断：能够从截图直接识别布局问题
- 设计风格迁移：准确理解并实现'科技风格'的设计要求
- 交互流程优化：基于现有界面提出交互改进建议
核心优势
- 视觉编程新范式：将视觉理解与代码生成结合，开创了新的开发模式
- 复杂场景适应能力：能够处理真实的、复杂的编辑器开发需求
- 迭代优化支持：支持通过多轮对话逐步逼近理想解决方案
- 技术壁垒明显：在国内编程模型中具备独特的视觉理解能力