跃阶星辰 AI 开源 Step-3.5-Flash 模型本地部署指南

备注：

1. "—" 表示分数未公开或未测试。
2. "*" 表示原始分数无法获取或低于我们复现的结果，因此我们按照与 Step 3.5 Flash 相同的测试条件进行评估，以确保公平可比性。
3. BrowseComp（带上下文管理器）：当有效上下文长度超过预设阈值时，代理会重置上下文并重启代理循环。相比之下，Kimi K2.5 和 DeepSeek-V3.2 采用了'全丢弃'策略。
4. 解码成本：估算方法类似于 arxiv.org/abs/2507.19427 中描述的方式，但精度更高。

4. 架构细节

Step 3.5 Flash 基于 稀疏混合专家（MoE） Transformer 架构构建，专为推理时的高吞吐量和低显存占用优化。

4.1 技术规格

4.2 混合专家（MoE）路由

与传统密集模型不同，Step 3.5 Flash 采用细粒度路由策略以最大化效率：

• 细粒度专家：每层 288 个路由专家 + 1 个共享专家（始终激活）。
• 稀疏激活：每个 token 仅选择 Top-8 专家。
• 效果：模型保留 1960 亿参数规模的'记忆'，但以 110 亿参数模型的速度执行。

4.3 多 token 预测（MTP）

为提升推理速度，我们采用了专用的 MTP 头部模块，包含滑动窗口注意力机制和密集前馈网络（FFN）。该模块在单次前向传播中同时预测 4 个 token，显著加速推理且不降低质量。

5. 快速开始

您可以通过我们支持的提供商使用云 API，在几分钟内开始使用 Step 3.5 Flash。

5.1 获取 API 密钥

在 OpenRouter 或 platform.stepfun.ai 注册并获取您的 API 密钥。

OpenRouter 目前为 Step 3.5 Flash 提供免费试用。

5.2 安装配置

安装标准的 OpenAI SDK（兼容两个平台）。

pip install --upgrade "openai>=1.0"

注意：OpenRouter 支持多种 SDK。了解更多信息请点击 此处。

5.3 实现示例

本示例展示了如何与 Step 3.5 Flash 开始聊天。

from openai import OpenAI
client = OpenAI(
    api_key="YOUR_API_KEY",
    base_url="https://api.stepfun.ai/v1", # or "https://openrouter.ai/api/v1"
    # Optional: OpenRouter headers for app rankings
    default_headers={"HTTP-Referer":"<YOUR_SITE_URL>","X-Title":"<YOUR_SITE_NAME>",}
)
completion = client.chat.completions.create(
    model="step-3.5-flash", # Use "stepfun/step-3.5-flash" for OpenRouter
    messages=[{"role":"system","content":"You are an AI chat assistant provided by StepFun. You are good at Chinese, English, and many other languages.",},{"role":"user","content":"Introduce StepFun's artificial intelligence capabilities."},],
)
print(completion.choices[0].message.content)

6. 本地部署

Step 3.5 Flash 针对本地推理进行了优化，支持包括 vLLM、SGLang、Hugging Face Transformers 和 llama.cpp 在内的行业标准后端。

6.1 vLLM

我们推荐使用 vLLM 的最新 nightly 版本。

1. 安装 vLLM。

# via Docker
docker pull vllm/vllm-openai:nightly 
# or via pip (nightly wheels)
pip install -U vllm --pre \
 --index-url https://pypi.org/simple \
 --extra-index-url https://wheels.vllm.ai/nightly 

2. 启动服务器。

注意：vLLM 目前尚不支持完整的 MTP3 功能。我们正在积极开发一个拉取请求以集成此功能，预计这将显著提升解码性能。

• 针对 fp8 模型

vllm serve <MODEL_PATH_OR_HF_ID>\
 --served-model-name step3p5-flash \
 --tensor-parallel-size 8\
 --enable-expert-parallel \
 --disable-cascade-attn \
 --reasoning-parser step3p5 \
 --enable-auto-tool-choice \
 --tool-call-parser step3p5 \
 --hf-overrides '{"num_nextn_predict_layers": 1}'\
 --speculative_config '{"method": "step3p5_mtp", "num_speculative_tokens": 1}'\
 --trust-remote-code \
 --quantization fp8 

• 针对 bf16 模型

vllm serve <MODEL_PATH_OR_HF_ID>\
 --served-model-name step3p5-flash \
 --tensor-parallel-size 8\
 --enable-expert-parallel \
 --disable-cascade-attn \
 --reasoning-parser step3p5 \
 --enable-auto-tool-choice \
 --tool-call-parser step3p5 \
 --hf-overrides '{"num_nextn_predict_layers": 1}'\
 --speculative_config '{"method": "step3p5_mtp", "num_speculative_tokens": 1}'\
 --trust-remote-code 

你也可以参考 Step-3.5-Flash 配方。

6.2 SGLang

1. 安装 SGLang。

# via Docker
docker pull lmsysorg/sglang:dev-pr-18084 
# or from source (pip)
pip install"sglang[all] @ git+https://github.com/sgl-project/sglang.git"

2. 启动服务器。

• 针对 bf16 模型

sglang serve --model-path <MODEL_PATH_OR_HF_ID>\
 --served-model-name step3p5-flash \
 --tp-size 8\
 --tool-call-parser step3p5 \
 --reasoning-parser step3p5 \
 --speculative-algorithm EAGLE \
 --speculative-num-steps 3\
 --speculative-eagle-topk 1\
 --speculative-num-draft-tokens 4\
 --enable-multi-layer-eagle \
 --host 0.0.0.0 \
 --port 8000

• 对于 fp8 模型

sglang serve --model-path <MODEL_PATH_OR_HF_ID>\
 --served-model-name step3p5-flash \
 --tp-size 8\
 --ep-size 8\
 --tool-call-parser step3p5 \
 --reasoning-parser step3p5 \
 --speculative-algorithm EAGLE \
 --speculative-num-steps 3\
 --speculative-eagle-topk 1\
 --speculative-num-draft-tokens 4\
 --enable-multi-layer-eagle \
 --host 0.0.0.0 \
 --port 8000

6.3 Transformers（调试/验证）

使用此代码片段进行快速功能验证。如需高吞吐量服务，请使用 vLLM 或 SGLang。

from transformers import AutoModelForCausalLM, AutoTokenizer
MODEL_PATH ="<MODEL_PATH_OR_HF_ID>"
# 1. Setup
tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH)
model = AutoModelForCausalLM.from_pretrained(
    MODEL_PATH, trust_remote_code=True, torch_dtype="auto", device_map="auto",
)
# 2. Prepare Input
messages = [{"role":"user","content":"Explain the significance of the number 42."}]
inputs = tokenizer.apply_chat_template(
    messages, tokenize=True, add_generation_prompt=True,
    return_dict=True, return_tensors="pt",
).to(model.device)
# 3. Generate
generated_ids = model.generate(**inputs, max_new_tokens=128, do_sample=False)
output_text = tokenizer.decode(generated_ids[0][inputs.input_ids.shape[1]:], skip_special_tokens=True)
print(output_text)

6.4 llama.cpp

系统需求

• GGUF 模型权重 (int4 量化版)：111.5GB
• 运行时开销：约 7GB
• 最低显存要求：120GB（例如 Mac Studio、DGX-Spark、AMD Ryzen AI Max+ 395 等设备）
• 推荐配置：128GB 统一内存

步骤

1. 使用 llama.cpp：

git clone [email protected]:stepfun-ai/Step-3.5-Flash.git
cd Step-3.5-Flash/llama.cpp 

2. 在 Mac 上构建 llama.cpp

cmake -S . -B build-macos \
 -DCMAKE_BUILD_TYPE=Release \
 -DGGML_METAL=ON \
 -DGGML_ACCELERATE=ON \
 -DLLAMA_BUILD_EXAMPLES=ON \
 -DLLAMA_BUILD_COMMON=ON \
 -DGGML_LTO=ON
cmake --build build-macos -j8 

3. 在 DGX-Spark 上构建 llama.cpp：

cmake -S . -B build-cuda \
 -DCMAKE_BUILD_TYPE=Release \
 -DGGML_CUDA=ON \
 -DGGML_CUDA_GRAPHS=ON \
 -DLLAMA_CURL=OFF \
 -DLLAMA_BUILD_EXAMPLES=ON \
 -DLLAMA_BUILD_COMMON=ON
cmake --build build-cuda -j8 

4. 在 AMD Windows 上构建 llama.cpp

cmake -S . -B build-vulkan \
 -DCMAKE_BUILD_TYPE=Release \
 -DLLAMA_CURL=OFF \
 -DGGML_OPENMP=ON \
 -DGGML_VULKAN=ON
cmake --build build-vulkan -j8 

5. 使用 llama-cli 运行

./llama-cli -m step3.5_flash_Q4_K_S.gguf -c 16384 -b 2048 -ub 2048 -fa on --temp 1.0 -p "What's your name?"

6. 使用 llama-batched-bench 测试性能：

./llama-batched-bench -m step3.5_flash_Q4_K_S.gguf -c 32768 -b 2048 -ub 2048 -npp 0,2048,8192,16384,32768 -ntg 128 -npl 1

7. 在代理平台使用 Step 3.5 Flash

7.1 Claude Code 与 Codex 平台

在大多数编程环境中，将 Step 3.5 Flash 添加到模型列表非常简单。以下是配置 Claude Code 和 Codex 使用 Step 3.5 Flash 的说明。

7.1.1 准备工作

如快速入门所述，请先在 StepFun.ai 或 OpenRouter 注册并获取 API 密钥。

7.1.2 环境配置

Claude Code 和 Codex 依赖 Node.js 运行环境。建议安装 Node.js 版本>v20，可通过 nvm 工具进行安装。

Mac/Linux:

# Install nvm on Mac/Linux via curl：
# Step 1
curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.0/install.sh | bash
# Copy the full command
export NVM_DIR="$HOME/.nvm"
[ -s "$NVM_DIR/nvm.sh"] &&\. "$NVM_DIR/nvm.sh"
# This loads nvm
[ -s "$NVM_DIR/bash_completion"] &&\. "$NVM_DIR/bash_completion"
# Users in China can set up npm mirror config set registry https://registry.npmmirror.com 
# Step 2
nvm install v22 
# Make sure Node.js is installed
node --version
npm --version 

Windows：
您可以从 https://github.com/coreybutler/nvm-windows/releases 下载安装文件（nvm-setup.exe）。按照说明安装 nvm。运行 nvm 命令以确保安装成功。

7.1.3 使用步骤 3.5 在 Claude Code 上配置

1. 安装 Claude Code。

# install claude code via npm
npm install -g @anthropic-ai/claude-code 
# test if the installation is successful
claude --version 

2. 配置 Claude 代码。

为适应 Claude Code 中的多样化工作流程，我们同时支持Anthropic 风格和OpenAI 风格的 API 接口。

选项 A：Anthropic API 风格:

如需使用OpenRouter API，请参阅 OpenRouter 集成指南。

第一步：编辑 Claude 设置。更新 ~/.claude/settings.json.

您只需修改下方显示的字段。其余部分保持不变。

{"env":{"ANTHROPIC_API_KEY":"API_KEY_from_StepFun","ANTHROPIC_BASE_URL":"https://api.stepfun.ai/"},"model":"step-3.5-flash"}

步骤 2：启动 Claude 代码

保存文件后，启动 Claude 代码。运行 /status 命令确认模型和基础 URL。

❯ /status ───────────────────────────────────────────────────────────────────────────────── Settings: Status Config Usage (←/→ or tab to cycle)
Version: 2.1.1
Session name: /rename to add a name
Session ID: 676dae61-259d-4eef-8c2f-0f1641600553
cwd: /Users/step-test/
Auth token: none
API key: ANTHROPIC_API_KEY
Anthropic base URL: https://api.stepfun.ai/
Model: step-3.5-flash
Setting sources: User settings 

选项 B：OpenAI API 风格

注：此处的 OpenAI API 风格指 chat/completions/ 格式。

推荐使用 claude-code-router。详情参见 https://github.com/musistudio/claude-code-router。

安装 Claude Code 后，请安装 claude-code-router：

# install ccr via npm
npm install -g @musistudio/claude-code-router 
# validate it is installed
ccr -v 

将以下配置添加到 ~/.claude-code-router/config.json 中。

{"PORT":3456,"Providers":[{"name":"stepfun-api","api_base_url":"https://api.stepfun.com/v1/chat/completions","api_key":"StepFun_API_KEY","models":["step-3.5-flash"],"transformer":{"step-3.5-flash":{"use":["OpenAI"]}}}],"Router":{"default":"stepfun-api,step-3.5-flash","background":"stepfun-api,step-3.5-flash","think":"stepfun-api,step-3.5-flash","longContext":"stepfun-api,step-3.5-flash","webSearch":"stepfun-api,step-3.5-flash"}}

您现在可以启动 Claude 代码：

# Start Claude
ccr code 
# restart ccr if configs are changed
ccr restart 

7.1.4 使用步骤 3.5 在 Codex 上配置

1. 安装 Codex

# Install codex via npm
npm install -g @openai/codex 
# Test if it is installed
codex --version 

2. 配置 Codex
   将以下设置添加到 ~/.codex/config.toml 中，其余设置保持不变。

model="step-3.5-flash"
model_provider ="stepfun-chat"
preferred_auth_method ="apikey" 
# configure the provider
[model_providers.stepfun-chat]
name ="OpenAI using response"
base_url ="https://api.stepfun.com/v1"
env_key ="OPENAI_API_KEY"
wire_api ="chat"
query_params ={}

对于 Codex，wire_api 仅支持 chat 模式。如果使用 responses 模式，需要切换为 chat 模式。同时请将 model_provider 更改为新配置的 stepfun-chat。

完成配置后，请在新终端窗口运行 codex 以启动 Codex。执行 /status 命令可检查配置状态。

/status 📂 Workspace • Path: /Users/step-test/ • Approval Mode: on-request • Sandbox: workspace-write • AGENTS files: (none)
🧠 Model • Name: step-3.5-flash • Provider: Stepfun-chat
💻 Client • CLI Version: 0.40.0 

7.1.5 使用步骤 3.5 Flash 版进行深度研究（Step-DeepResearch）

1. 参考以下环境设置指南，将 MODEL_NAME 配置为 Step-3.5-Flash。环境设置链接

8. 已知问题与未来方向

1. 令牌效率：Step 3.5 Flash 实现了前沿水平的智能体能力，但目前需要比 Gemini 3.0 Pro 更长的生成轨迹才能达到相当的质量。
2. 高效通用精通：我们的目标是统一通用模型的多样性和深度领域专业知识。为了实现这一目标，我们正在推进策略蒸馏的变体方法，使模型能够以更高的样本效率内化专家行为。
3. 强化学习应用于更多智能体任务：虽然 Step 3.5 Flash 在学术智能体基准测试中表现出竞争力，但智能体 AI 的下一个前沿需要将强化学习应用于专业工作、工程和研究中的复杂专家级任务。
4. 操作范围与限制：Step 3.5 Flash 专为编码和工作任务优化，但在分布变化时稳定性可能降低。这种情况通常出现在高度专业化领域或长期多轮对话中，模型可能出现重复推理、混合语言输出或时间和身份认知不一致的问题。

9. 共同开发未来

我们将发展路线图视为一份动态文档，根据实际使用情况和开发者反馈持续演进。
在通过扩展通用模型能力塑造 AGI 未来的过程中，我们希望确保解决的是正确的问题。我们邀请您加入这一持续的反馈循环——您的见解将直接影响我们的优先级。

• 参与讨论：我们的 Discord 社区是构思未来架构、提议新功能并获取早期访问更新的主要平台 🚀
• 反馈问题：遇到限制？您可以在 GitHub 提交问题，或直接在 Discord 支持频道中标记。

许可证

本项目采用 Apache 2.0 许可证 开源。