清华智谱开源7440亿参数的智能体GLM-5

简介

我们正式推出GLM-5,面向复杂系统工程与长周期智能体任务。规模化仍然是提升通用人工智能(AGI)智能效能的最重要途径之一。相比GLM-4.5,GLM-5将参数量从3550亿(激活320亿)扩展至7440亿(激活400亿),预训练数据从23万亿token增至28.5万亿token。GLM-5还集成了深度求索稀疏注意力机制(DSA),在保持长上下文能力的同时大幅降低部署成本。

强化学习旨在弥合预训练模型"达标"与"卓越"之间的鸿沟。然而由于RL训练效率问题,在大语言模型中规模化部署面临挑战。为此我们开发了slime——创新的异步RL基础设施,显著提升训练吞吐效率,支持更精细化的训练后迭代。得益于预训练与训练后的双重突破,GLM-5在各类学术基准测试中较GLM-4.7实现显著提升,在推理、编程和智能体任务领域达到全球开源模型顶尖水平,进一步缩小与前沿模型的差距。

基准测试

GLM-5GLM-4.7DeepSeek-V3.2Kimi K2.5Claude Opus 4.5Gemini 3 ProGPT-5.2 (xhigh)
HLE30.524.825.131.528.437.235.4
HLE (w/ Tools)50.442.840.851.843.4*45.8*45.5*
AIME 2026 I92.792.992.792.593.390.6-
HMMT Nov. 202596.993.590.291.191.793.097.1
IMOAnswerBench82.582.078.381.878.583.386.3
GPQA-Diamond86.085.782.487.687.091.992.4
SWE-bench Verified77.873.873.176.880.976.280.0
SWE-bench Multilingual73.366.770.273.077.565.072.0
Terminal-Bench 2.0 (Terminus 2)56.2 / 60.7 †41.039.350.859.354.254.0
Terminal-Bench 2.0 (Claude Code)56.2 / 61.1 †32.846.4-57.9--
CyberGym43.223.517.341.350.639.9-
BrowseComp62.052.051.460.637.037.8-
BrowseComp (w/ Context Manage)75.967.567.674.967.859.265.8
BrowseComp-Zh72.766.665.062.362.466.876.1
τ²-Bench89.787.485.380.291.690.785.5
MCP-Atlas (Public Set)67.852.062.263.865.266.668.0
Tool-Decathlon38.023.835.227.843.536.446.3
Vending Bench 2$4,432.12$2,376.82$1,034.00$1,198.46$4,967.06$5,478.16$3,591.33
*:指其全套测试的得分。

†:Terminal-Bench 2.0的验证版本,修复了一些模糊指令。
详见脚注获取更多评估细节。

脚注

  • 人类终极考试(HLE)及其他推理任务:我们评估时设置最大生成长度为131,072个token(temperature=1.0, top_p=0.95, max_new_tokens=131072)。默认情况下,我们报告纯文本子集的结果;带*标记的结果来自完整数据集。我们使用GPT-5.2(中等规模)作为评判模型。对于带工具的HLE评估,我们使用最大上下文长度202,752个token。
  • SWE-bench与SWE-bench多语言版:我们使用OpenHands运行SWE-bench测试套件,并采用定制化的指令提示。设置参数:temperature=0.7, top_p=0.95, max_new_tokens=16384,上下文窗口为200K。
  • 浏览器交互评测(BrowserComp):在没有上下文管理的情况下,我们仅保留最近5轮对话的细节。启用上下文管理时,采用与DeepSeek-v3.2和Kimi K2.5相同的全丢弃策略。
  • 终端基准测试2.0(Terminus 2):我们使用Terminus框架评估,参数为timeout=2h, temperature=0.7, top_p=1.0, max_new_tokens=8192,上下文窗口为128K。资源限制为16核CPU和32GB内存。
  • 终端基准测试2.0(Claude代码版):在Claude Code 2.1.14(思考模式,默认计算量)中评估,参数为temperature=1.0, top_p=0.95, max_new_tokens=65536。由于生成速度差异,我们移除了挂钟时间限制,但保留每项任务的CPU和内存约束。分数取5次运行的平均值。我们修复了Claude Code引入的环境问题,并在已消除歧义指令的验证版Terminal-Bench 2.0数据集上补充了结果(参见:https://huggingface.co/datasets/zai-org/terminal-bench-2-verified)。
  • 网络攻防演练(CyberGym):在Claude Code 2.1.18(思考模式,禁用网页工具)中评估,参数为temperature=1.0, top_p=1.0, max_new_tokens=32000,每项任务限时250分钟。结果基于1,507项任务的单次Pass@1通过率。
  • MCP-Atlas图谱测试:所有模型均在500项公开子集的思考模式下评估,每项任务限时10分钟。我们使用Gemini 3 Pro作为评判模型。
  • τ²基准测试:在零售和电信领域添加了小型提示调整,以避免因用户提前终止导致的失败。针对航空领域,我们应用了Claude Opus 4.5系统卡中提出的领域修复方案。
  • 自动售货机基准测试2:由安顿实验室独立运行。

本地部署GLM-5

环境准备

vLLM、SGLang和xLLM均支持GLM-5的本地部署。此处提供简易部署指南。

vLLM使用 Docker 作为:

docker pull vllm/vllm-openai:nightly 

或者使用 pip:

```shell pip install -U vllm --pre --index-url https://pypi.org/simple --extra-index-url https://wheels.vllm.ai/nightly ``` 

然后升级transformers:

``` pip install git+https://github.com/huggingface/transformers.git ``` 

SGLang使用 Docker 作为:

docker pull lmsysorg/sglang:glm5-hopper # For Hopper GPUdocker pull lmsysorg/sglang:glm5-blackwell # For Blackwell GPU

部署

vLLM

vllm serve zai-org/GLM-5-FP8 \ --tensor-parallel-size 8\ --gpu-memory-utilization 0.85\ --speculative-config.method mtp \ --speculative-config.num_speculative_tokens 1\ --tool-call-parser glm47 \ --reasoning-parser glm45 \ --enable-auto-tool-choice \ --served-model-name glm-5-fp8 

查看配方获取更多详情。

  • xLLM 及其他昇腾 NPU请查阅部署指南 此处

SGLang

python3 -m sglang.launch_server \ --model-path zai-org/GLM-5-FP8 \ --tp-size 8\ --tool-call-parser glm47 \ --reasoning-parser glm45 \ --speculative-algorithm EAGLE \ --speculative-num-steps 3\ --speculative-eagle-topk 1\ --speculative-num-draft-tokens 4\ --mem-fraction-static 0.85\ --served-model-name glm-5-fp8 

查看 sglang 教程 获取更多细节。

Read more

GitHub Copilot 调用第三方模型API

GitHub Copilot 调用第三方模型API

一、说明 OAI Compatible Provider for Copilot 的作用是:把 Copilot/Copilot Chat 发出的“类似 OpenAI API 的请求”,转发到指定的 OpenAI-Compatible 服务端(例如 ModelScope 推理网关、自建的兼容网关等)。 ⚠️ Warning 登录 GitHub Copilot 的账号一定要是非组织方式开通 pro 会员的,不然无法管理模型。 推荐直接用免费的free账号登录即可。 二、插件安装 在 VS Code 扩展市场安装并启用: * GitHub Copilot * GitHub Copilot Chat * OAI Compatible Provider for Copilot (johnny-zhao.

By Ne0inhk

什么是Git,以及其有什么作用呢?

1、什么是git Git是一个开源的分布式版本控制系统,是目前世界上最先进,最流行的版本控制系统。其特点是项目越大越复杂时,协同开发者越多,越能体现出Git的高性能和高可用性。git快速和高效,一是因为它能直接记录快照,而非差异比较;二是几乎所有操作都是本地执行。 Git对象 2、git的基本使用 git可以帮助我们做很多的事情,比如代码的版本控制,分支管理等。git里面主要包含的几个概念有远程仓库,克隆,本地仓库,分支,提交,拉取,合并,推送等。远程仓库是指我们代码存储在服务器的地方,这个仓库是我们整个团队中所有人都可以访问的地方。【git工作目录下对于文件的修改(增加、删除、更新)会存在几个状态,这些修改的状态会随着我们执行git的命令而发生变化。】 git commit:暂存区-->本地仓库 git add:工作区-->暂存区 * 克隆:从远程仓库克隆到本地的过程。本地仓库指的是我们开发人员从远程仓库克隆一份代码之后,保存在我们本地的代码,这份代码只有克隆的代码的开发人员可以看到。 * 分支:

By Ne0inhk

开源大模型训练入门必看:PyTorch-2.x镜像完整指南

开源大模型训练入门必看:PyTorch-2.x镜像完整指南 1. 为什么新手训练大模型总卡在环境上? 你是不是也经历过: 花一整天配CUDA版本,结果发现和PyTorch不兼容; pip install半天,最后报错“no matching distribution”; 好不容易跑通一个demo,换台机器又全崩了…… 别急——这不是你代码的问题,是环境在拖后腿。 PyTorch-2.x-Universal-Dev-v1.0 镜像,就是为解决这个问题而生的。它不是一堆库的简单打包,而是一套专为开源大模型训练者打磨过的开箱即用开发环境:不用查文档、不用试版本、不删缓存、不改源,连GPU驱动都帮你对齐好了。 它不承诺“支持所有硬件”,但明确告诉你:RTX 30系、40系显卡,A800、H800服务器,直接插电就能训。 它不堆砌冷门包,只预装你真正会打开、会import、会debug的那几十个核心依赖。 它甚至把JupyterLab的内核、终端的语法高亮、国内下载源都设好了——你唯一要做的,就是写代码。 2.

By Ne0inhk

Cogito-v1-preview-llama-3B效果展示:多模态思维链(CoT)生成可视化

Cogito-v1-preview-llama-3B效果展示:多模态思维链(CoT)生成可视化 最近在探索各种开源大模型时,我遇到了一个挺有意思的模型——Cogito-v1-preview-llama-3B。这个模型最吸引我的地方,是它号称能在回答问题时,把思考过程“可视化”出来。这听起来有点玄乎,但实际用下来,发现它确实有点东西。 简单来说,Cogito-v1-preview-llama-3B是一个只有30亿参数的小模型,但它有个特别的能力:不仅能直接给出答案,还能在回答前先“自我反思”一番,然后把整个思考链条展示给你看。这种“思维链”功能,通常只在那些动辄几百亿参数的大模型里才能看到,现在居然在一个3B的小模型上实现了,这本身就挺让人惊讶的。 我花了一些时间测试这个模型,发现它的效果确实超出了我的预期。它不仅在各种标准测试中表现不错,更重要的是,它的“可视化思考”功能,让我们能真正看到模型是怎么一步步推理出答案的。这对于理解模型的决策过程、排查错误,甚至教学演示,都很有价值。 1. 模型核心能力概览 Cogito-v1-preview-llama-3B虽然参数规模不大,

By Ne0inhk