跳到主要内容
极客日志极客日志面向AI+效率的开发者社区
首页博客GitHub 精选镜像AI 生图工具UI配色美学隐私政策关于联系
搜索内容 / 工具 / 仓库 / 镜像...⌘K搜索
注册
博客列表
编程语言Node.jsAIjava

主流大模型 AI Coding 能力对比评测

基于个人实践,对 Claude Opus 4.6、Kimi K2.5、智谱 GLM-5、DeepSeek V2 等主流大模型进行 AI Coding 能力横向对比。测试涵盖代码生成、Debug 修复、重构理解及性价比等维度。实测显示 DeepSeek V2 在代码生成与性价比上表现突出,Claude Opus 4.6 在逻辑推理与长文本处理上优势明显。通过构建高吞吐量网关项目验证,Opus 4.6 生成的代码结构更优,Kimi K2.5 虽峰值吞吐高但扩展性不足。结论推荐不同场景下的首选模型,为开发者选型提供参考。

月亮邮递员发布于 2026/4/6更新于 2026/7/2187 浏览

引言

本文主要用途是 AI Coding,从各种渠道获取到了很多不同的大模型排序。最多的是 Opus 4.6 > K2.5 > GLM-5 > Sonnet 4.5 > M2.5。

但我希望从自身实践的角度进行测试,我把所有的平台都办了月卡,在此基础上添加了 DeepSeek V2。

结论

确实 Claude Opus 4.6 更适合 AI Coding

智谱 GLM-5 可能是真的因为资源不够,感觉降智,速度也慢,前两天他们发通知寻求资源,目前可能不推荐

调研

我从多个维度进行了评审:

📊 评审维度明细

1. 代码生成能力(权重 40%)

测试目标:模型独立完成指定功能代码的能力

  • 测评数据集:HumanEval 经典编程题(抽样 10 题)
  • 核心指标:Pass@1(一次生成代码直接通过所有测试用例的比例)
  • 评分逻辑:题目完全通过得 10 分,失败得 0 分
  • 实测结果:DeepSeek 10/10(100% 通过),Kimi 2/10(20% 通过)

2. Debug 修复能力(权重 35%)

测试目标:模型排查和修复代码问题的能力

  • 测评数据集:DebugBench 真实 bug 场景(抽样 9 题)
  • 覆盖 Bug 类型:语法错误、逻辑错误、性能优化三类
  • 核心指标:Bug 修复通过率
  • 评分逻辑:成功修复得 10 分,修复失败/引入新问题得 0 分
  • 实测结果:DeepSeek 9/9(100% 通过),Kimi 7/9(77.8% 通过)

3. 代码重构/项目理解能力(权重 25%)

测试目标:模型对复杂项目的理解和工程化能力

  • 测评题目:手工设计的企业级真实场景(10 题)
  • 覆盖题型:
    • 读懂代码意图
    • 函数拆分重构
    • 接口改造升级
    • 单元测试生成
    • 跨文件依赖问题排查
  • 评分维度:每道题从**正确性 (40%)、可读性 (30%)、完整性 (30%)**三个角度综合打分(满分 10 分)
  • 实测结果:DeepSeek 平均 9.2/10,Kimi 平均 9.0/10

4. 性价比维度

测试目标:模型的投入产出比

  • 统计指标:
    • 实际消耗的总 Token 量
    • 输入/输出 Token 单价
    • 本次测试实际花费金额
    • 百万 Tokens 调用成本估算
  • 实测结果:DeepSeek 4.5 万 tokens 花费 0.19 元,性价比是 Kimi 的 2.26 倍

5. 公平性校验维度

为了保证测评结果客观公正,专门对可能影响结果的因素做了校验:

  • Temperature 差异影响:Kimi API 强制 t=1 vs DeepSeek 可设置 t=0,明确标注对代码生成任务的影响
  • 裁判偏差:DeepSeek 自裁判可能偏高,Kimi 使用 DeepSeek 作为第三方裁判更客观
  • 样本量说明:当前样本量 30 题,统计意义有限,建议后续扩大到 100+ 题
  • 数据污染风险:评估经典题目被模型训练集见过的可能性

6. 环境一致性维度

所有模型在完全相同的环境下测试:

  • 统一评测框架:llm-coding-bench v1.0
  • 统一代码执行超时:10 秒
  • 统一随机种子:42
  • 统一裁判模型:DeepSeek-Chat(第三方交叉验证)

🎯 综合评分公式:

综合分 = (代码生成 Pass@ × ) + (Debug 通过率 × ) + (重构平均分 × )
1
40%
35%
25%

主流大模型多维度评审对比表

数据日期:2026-02-19
排序依据:综合能力从高到低:Claude Opus 4.6 > Kimi K2.5 > 智谱 GLM-5 > Claude Sonnet 4.5 > MiniMax M2.5 > DeepSeek V2
备注:✅为实测数据,其余为公开第三方权威测评数据(MMLU/CMMLU/SuperCLUE)

模型名称综合能力
(满分 100)
代码能力
(满分 100)
中文能力
(满分 100)
多模态能力
(满分 100)
长上下文
支持长度
性价比
(满分 100)
核心优势适用场景数据来源
Claude Opus 4.698928790200K50知识准确性最高、长文本理解最强、逻辑推理能力突出法律/医疗等专业领域、长文档处理、复杂推理任务Anthropic 官方测评 + 第三方独立测试
Kimi K2.59357.5 ✅90851M(100 万 tokens)65百万级长上下文、重构理解能力强、中文流畅长文本知识库、文档分析、内容生成✅本次实测 + 月之暗面公开数据
智谱 GLM-590859488128K70中文理解能力顶尖、多模态支持完善、国产合规中文场景应用、企业级服务、多模态交互智源研究院公开测评 + SuperCLUE
Claude Sonnet 4.588888587200K75性能与成本平衡最优、响应速度快日常通用场景、中等复杂度任务Anthropic 官方测评 + 第三方测试
MiniMax M2.585808892128K72多模态能力突出、生成内容创意性强多模态内容创作、营销文案生成MiniMax 官方公开数据
DeepSeek V28398.0 ✅8275128K95代码能力顶尖、性价比极高、支持开源部署代码开发、技术研发、本地化部署场景✅本次实测(代码能力 100% 通过)

专项能力排名

1. 代码能力排名

  1. DeepSeek V2(98.0 ✅ 实测代码生成 100% 通过)
  2. Claude Sonnet 4.5(88)
  3. Claude Opus 4.6(92)
  4. 智谱 GLM-5(85)
  5. MiniMax M2.5(80)
  6. Kimi K2.5(57.5 ✅ 受强制 temperature=1 影响)

2. 性价比排名

  1. DeepSeek V2(95 成本仅为 Opus 的 1%)
  2. Claude Sonnet 4.5(75)
  3. 智谱 GLM-5(70)
  4. MiniMax M2.5(72)
  5. Kimi K2.5(65)
  6. Claude Opus 4.6(50 成本最高)

3. 长上下文能力排名

  1. Kimi K2.5(1M tokens)
  2. Claude Opus 4.6 / Sonnet 4.5(200K tokens)
  3. 智谱 GLM-5 / MiniMax M2.5 / DeepSeek V2(128K tokens)

4. 中文能力排名

  1. 智谱 GLM-5(94)
  2. Kimi K2.5(90)
  3. MiniMax M2.5(88)
  4. Claude Opus 4.6(87)
  5. Claude Sonnet 4.5(85)
  6. DeepSeek V2(82)

选型推荐

场景首选模型备选模型
专业领域(法律/医疗/金融)Claude Opus 4.6智谱 GLM-5
长文档/知识库处理Kimi K2.5Claude Opus 4.6
代码开发/技术研发DeepSeek V2Claude Sonnet 4.5
中文通用场景智谱 GLM-5Kimi K2.5 / MiniMax M2.5
性价比优先通用场景Claude Sonnet 4.5智谱 GLM-5
多模态内容创作MiniMax M2.5智谱 GLM-5
本地化部署/数据敏感场景DeepSeek V2Qwen2 开源系列

AI Coding 能力

因为我对 Java/Rust 语言比较熟悉,所以想着以下面的提示词开发项目,看项目的吞吐量和完善程度来决定 AI Coding 的能力。

开发一个最高吞吐量的网关项目(任何语言都可以),开发完输出 吞吐量详细测试报告 第一优先级是吞吐量最高

AI Coding 结论

Kimi K2.5 开发的确实吞吐量高,但是他就一个 TS 直接实现,没考虑扩展性和配置结构,连接池等问题,可能通过提示词或者 skills 能让其代码质量提升,但是没必要。

Claude Opus 4.6 表现就好很多,代码结构和我想的差不多,也对 Cluster 多进程和 Trie 树进行了优化

Kimi K2.5

🚀 峰值性能指标:

  • 最高吞吐量:249,935 RPS (约 250K RPS)
  • 最低延迟:1.23ms 平均延迟
  • 最高并发:50,000 并发连接
  • 带宽利用率:245.12 Mbps
  • 成功率:100% (所有测试场景)

Claude Opus 4.6

Gateway-Ops 吞吐量测试报告

测试环境
项目值
CPUIntel Core i7-1195G7 @ 2.90GHz (4 核 8 线程)
OSWindows 10 (win32 x64)
Node.jsv24.13.0
测试日期2026-02-19
网关 Workers8 进程 (cluster 模式)
Mock 上游 Workers8 进程 (cluster 模式)
Benchmark Workers4 进程
每场景测试时长15 秒

注意: 网关、上游服务、压测客户端均运行在同一台机器上,实际生产环境中分离部署吞吐量会显著更高。

核心结果
峰值吞吐量
指标值
峰值网关吞吐量12,090 req/s
峰值直连吞吐量29,674 req/s
峰值网关开销59.3%
零错误率全场景 0 errors (网关侧)
详细场景测试结果
场景 1: Small JSON (32 Bytes)

小 JSON 响应体,模拟典型 API 调用。

指标经网关直连开销
Requests/sec9,06926,542-
总请求数136,210398,258-
吞吐量 (MB/s)0.190.56-
错误数065-
延迟 Mean33.08ms11.30ms-
延迟 p506.68ms9.80ms-
延迟 p9034.17ms17.15ms-
延迟 p9560.98ms23.38ms-
延迟 p99725.02ms53.47ms-
延迟 Max1473.82ms239.71ms-
场景 2: Medium JSON (~5KB)

中等 JSON 响应体 (100 条记录),模拟列表查询。

指标经网关直连开销
Requests/sec10,49329,67464.6%
总请求数157,443445,320-
吞吐量 (MB/s)54.38153.80-
错误数00-
延迟 Mean28.61ms10.11ms-
延迟 p5014.02ms8.48ms-
延迟 p9033.13ms14.34ms-
延迟 p9549.46ms19.01ms-
延迟 p99508.73ms36.23ms-
延迟 Max1310.01ms182.23ms-
场景 3: Large Payload (64KB)

大响应体,模拟文件下载/大数据传输。

指标经网关直连开销
Requests/sec5,78915,00361.4%
总请求数86,857225,326-
吞吐量 (MB/s)361.84937.66-
错误数00-
延迟 Mean26.27ms10.13ms-
延迟 p5021.26ms8.26ms-
延迟 p9046.36ms16.78ms-
延迟 p9563.43ms22.95ms-
延迟 p99138.33ms37.21ms-
延迟 Max624.54ms125.89ms-
场景 4: High Concurrency (1000 并发)

超高并发场景,测试网关在极端负载下的稳定性。

指标经网关直连开销
Requests/sec12,09028,93458.2%
总请求数182,733434,650-
吞吐量 (MB/s)0.250.61-
错误数00-
延迟 Mean82.49ms34.55ms-
延迟 p5029.78ms27.41ms-
延迟 p90249.88ms50.17ms-
延迟 p95441.99ms71.37ms-
延迟 p99833.86ms201.85ms-
延迟 Max1969.38ms547.90ms-
吞吐量总结
Small JSON (32B) ██████████████████ 9,069 req/s (34.2% efficiency)
Medium JSON (~5KB) █████████████████████ 10,493 req/s (35.4% efficiency)
Large Payload (64KB) ████████████ 5,789 req/s (38.6% efficiency)
High Concurrency (1000) ████████████████████████ 12,090 req/s (41.8% efficiency)
架构设计与优化策略
核心架构
┌──────────────────────────────┐
│ Primary Process              │
│ (cluster.isPrimary)          │
└──────────┬───────────────────┘
           │ fork x 8
┌──────────┼────────────────────┐
▼ ▼ ▼      ▼ ▼ ▼
┌──────────┐ ┌──────────┐ ... ┌──────────┐
│ Worker 1 │ │ Worker 2 │     │ Worker 8 │
│ HTTP Srv │ │ HTTP Srv │     │ HTTP Srv │
│ Router   │ │ Router   │     │ Router   │
│ ConnPool │ │ ConnPool │     │ ConnPool │
└────┬─────┘ └────┬─────┘     └────┬─────┘
     │ proxy      │ proxy          │ proxy
     ▼            ▼                ▼
┌─────────────────────────────────────────────────────┐
│ Upstream Services (cluster x 8)                     │
└─────────────────────────────────────────────────────┘
吞吐量优化技术
优化项说明
Cluster 多进程8 个 worker 进程充分利用所有 CPU 核心
Trie 路由树O(k) 前缀匹配,k=前缀长度,零分配热路径
连接池复用HTTP Agent keep-alive,maxSockets=1024
上游解析缓存URL 解析结果缓存,避免重复 new URL()
流式代理 (pipe)不缓冲响应体,直接 stream pipe
Hop-by-hop 头过滤仅过滤必要的 hop-by-hop headers
零依赖纯 Node.js 原生 API,无第三方框架开销
FIFO 调度连接池使用 FIFO 调度,减少延迟抖动
高 backloglisten backlog=4096,防止连接拒绝
Keep-Alive 65s长 keep-alive 超时,最大化连接复用
与同类网关对比 (参考值)
网关语言典型 RPS (单机)备注
gateway-opsNode.js12,090本项目,同机压测
Nginx (proxy)C30,000-80,000独立部署
EnvoyC++20,000-50,000独立部署
KongLua/Nginx8,000-15,000独立部署
Express GatewayNode.js3,000-8,000独立部署
Fastify ProxyNode.js5,000-12,000独立部署

gateway-ops 在同机压测(三方共享 CPU)条件下达到 12K+ req/s,独立部署预估可达 30,000+ req/s。

如何复现测试
# 1. 启动 Mock 上游服务
node bench/mock-upstream.js
# 2. 启动网关 (新终端)
node src/gateway.js
# 3. 运行基准测试 (新终端)
node bench/run-benchmark.js
文件结构
gateway-ops/
├── config/
│   └── gateway.json # 网关配置 (路由、连接池、监听)
├── src/
│   ├── gateway.js # 入口 (cluster primary)
│   ├── worker.js # Worker 进程
│   ├── router.js # Trie 路由树
│   ├── proxy.js # 反向代理核心
│   └── connection-pool.js # HTTP Agent 连接池
├── bench/
│   ├── mock-upstream.js # Mock 上游服务
│   └── run-benchmark.js # 多进程基准测试
├── package.json
└── BENCHMARK-REPORT.md # 本报告

目录

  1. 引言
  2. 结论
  3. 调研
  4. 📊 评审维度明细
  5. 1. 代码生成能力(权重 40%)
  6. 2. Debug 修复能力(权重 35%)
  7. 3. 代码重构/项目理解能力(权重 25%)
  8. 4. 性价比维度
  9. 5. 公平性校验维度
  10. 6. 环境一致性维度
  11. 🎯 综合评分公式:
  12. 主流大模型多维度评审对比表
  13. 专项能力排名
  14. 1. 代码能力排名
  15. 2. 性价比排名
  16. 3. 长上下文能力排名
  17. 4. 中文能力排名
  18. 选型推荐
  19. AI Coding 能力
  20. AI Coding 结论
  21. Kimi K2.5
  22. Claude Opus 4.6
  23. Gateway-Ops 吞吐量测试报告
  24. 测试环境
  25. 核心结果
  26. 峰值吞吐量
  27. 详细场景测试结果
  28. 场景 1: Small JSON (32 Bytes)
  29. 场景 2: Medium JSON (~5KB)
  30. 场景 3: Large Payload (64KB)
  31. 场景 4: High Concurrency (1000 并发)
  32. 吞吐量总结
  33. 架构设计与优化策略
  34. 核心架构
  35. 吞吐量优化技术
  36. 与同类网关对比 (参考值)
  37. 如何复现测试
  38. 1. 启动 Mock 上游服务
  39. 2. 启动网关 (新终端)
  40. 3. 运行基准测试 (新终端)
  41. 文件结构
  • 免费图片AI生成工具免费生成了解详情
  • Magick API 一键接入全球大模型注册送1000万token查看
  • 免费图片视频在线生成30秒,将你的创意变成现实开始设计
  • X/Twitter免费视频下载器免登陆无限额度免费视频解析下载了解详情
  • 100+免费在线小游戏爽一把
极客日志微信公众号二维码

微信扫一扫,关注极客日志

微信公众号「极客日志V2」,在微信中扫描左侧二维码关注。展示文案:极客日志V2 zeeklog

更多推荐文章

查看全部
  • 开源双轴张力控制低成本墙绘机系统
  • WebSocket 详解与 Spring Boot 高级实战
  • Java 中高级面试核心考点解析:集合与线程同步
  • 前端安全实践:密码存储与常见漏洞防护
  • IT 行业热门岗位薪资分析与 Python 学习路线指南
  • Stable-Diffusion-v1-5 开源协作:GitHub Issue 驱动的问题解决闭环
  • GitHub Copilot 学生认证申请及使用指南
  • Git 多用户提交身份配置与切换方法
  • 十大 AI 副业赛道:普通人如何利用 AI 工具实现额外收入
  • 基于 Nanoedge AI Studio 和 STM32Cube AI 的 STM32 边缘智能部署
  • C++ 模板机制与 string 类详解
  • GitHub Copilot、Cursor、JetBrains AI Assistant 实战指南
  • Java Spring 核心:Bean 作用域、生命周期与自动配置
  • Flutter 桌面应用开发指南:核心优势与学习路径
  • C++ 智能指针:彻底解决内存泄漏问题
  • 华为 OD 机试:压缩日志查询(多语言实现)
  • VRCT 配置与使用要点:给 VRChat 跨语言交流补一层实时转写
  • C++ 入门:命名空间(namespace)详解
  • 华为 OD 算法题解:优雅子数组
  • Naiz AI:从语义到像素,全链路重构视频数字孪生

相关免费在线工具

  • RSA密钥对生成器

    生成新的随机RSA私钥和公钥pem证书。 在线工具,RSA密钥对生成器在线工具,online

  • Keycode 信息

    查找任何按下的键的javascript键代码、代码、位置和修饰符。 在线工具,Keycode 信息在线工具,online

  • Escape 与 Native 编解码

    JavaScript 字符串转义/反转义;Java 风格 \uXXXX(Native2Ascii)编码与解码。 在线工具,Escape 与 Native 编解码在线工具,online

  • Mermaid 预览与可视化编辑

    基于 Mermaid.js 实时预览流程图、时序图等图表,支持源码编辑与即时渲染。 在线工具,Mermaid 预览与可视化编辑在线工具,online

  • JavaScript / HTML 格式化

    使用 Prettier 在浏览器内格式化 JavaScript 或 HTML 片段。 在线工具,JavaScript / HTML 格式化在线工具,online

  • JavaScript 压缩与混淆

    Terser 压缩、变量名混淆,或 javascript-obfuscator 高强度混淆(体积会增大)。 在线工具,JavaScript 压缩与混淆在线工具,online