论文信息
- 原标题：Novice Developers Produce Larger Review Overhead for Project Maintainers while Vibe Coding
- 主要作者：Syed Ammar Asdaque、Imran Haider、Muhammad Umar Malik、Abdul Ali Bangash、Maryam Abdul Ghafoor
- 研究机构：巴基斯坦拉合尔管理科学大学（Lahore University of Management Sciences）
- 发表会议：23rd International Conference on Mining Software Repositories (MSR '26)
- 发表时间：2026 年 4 月 13-14 日（巴西里约热内卢）
- 引文格式（GB/T 7714）：Asdaque S A,Haider I,Malik M U,et al. Novice Developers Produce Larger Review Overhead for Project Maintainers while Vibe Coding[C]//23rd International Conference on Mining Software Repositories. Rio de Janeiro: ACM,2026.
研究背景与核心问题
时代背景
Software 3.0 范式下 AI 编码工具被 92% 开发者使用，但现有研究对 AI 辅助编程的效果结论不一。部分研究发现高经验开发者用 AI 完成任务耗时增加 19%，且缺乏不同经验开发者的对比分析。
核心疑问
项目管理者能否用低经验 Vibe 编码者替代高经验开发者？开发者经验在 AI 辅助开发中是否仍具重要性？
概念界定
采用精准的 Vibe Coding 定义——人类开发者通过自然语言提示引导、监督 AI 代理，并验证其生成代码的工作流，区别于广义的 AI 辅助编程。
研究设计与数据来源
数据集
采用 AIDev 数据集（GitHub 开源项目的 AI 辅助 PR 合集），过滤掉机器人账户后，最终使用 1719 名 Vibe 编码者的 22953 个 PR，涵盖 Copilot、Claude Code 等主流 AI 编码工具的贡献。
经验划分方法
- 经验值计算：参考现有研究，以 GitHub 总提交数/账户创建时长作为经验评分指标；
- 分组方式：将 1719 名开发者按经验评分分为四四分位，前两个四分位（859 人）为高经验组（Exp_High），后两个四分位（860 人）为低经验组（Exp_Low）。
研究方法
采用三步分析法，筛选研究对象→按经验值分组→提取 PR 指标做统计分析；使用 Python 工具（pandas、scipy 等）开展检验，通过 Benjamini-Hochberg（BH）校正降低多次统计检验的假阳性风险。
核心研究问题
- RQ1：高/低经验 Vibe 编码者在开源项目中贡献的频率和规模是否存在差异？
- RQ2：高/低经验 Vibe 编码者的 PR 合并难度是否存在差异？
核心分析指标
| 指标类型 | 具体指标 | 指标含义 |
|---|---|---|
| 贡献规模指标 | 单 PR 提交次数 | 每个 PR 的代码提交频次 |
| 贡献规模指标 | 单 PR 修改文件数 | 每个 PR 涉及的修改文件数量 |
| PR 合并难度指标 | PR 接受率 | 合并 PR 数/总提交 PR 数 |
| PR 合并难度指标 | PR 解决时间 | PR 创建到合并的耗时（天） |
| PR 合并难度指标 | PR 评审评论数 | 每个 PR 收到的评审反馈评论数 |
