Qwen3.5 大模型单 GPU 高效部署与股票筛选实战

最后，安装下载、编译和运行 llama.cpp 所需的 Linux 软件包：

sudo apt update && sudo apt install pciutils build-essential cmake curl libcurl4-openssl-dev -y 

完成这步后，环境就准备好安装 llama.cpp 和本地运行 Qwen3.5 了。

安装 llama.cpp

llama.cpp 是开源的 C/C++ 推理引擎，能让你用最少的设置本地运行大语言模型，支持 CPU 和 GPU 加速。

先克隆 llama.cpp 仓库：

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp

接下来，用 CMake 配置启用 CUDA 的构建。我们用 -DGGML_CUDA=ON 启用 CUDA，把 CUDA 架构设为 90a，因为我们用的是 NVIDIA H200（Hopper 架构）。这能让构建生成针对 Hopper 特性优化的 GPU 代码。

现在编译服务器二进制文件。llama-server 是内置的 REST 服务器，能把 llama.cpp 暴露为 API 端点：

make server -j

最后，把编译好的二进制文件复制到主文件夹，方便运行：

cp bin/llama-server ../

下载 Qwen3.5 模型

现在 llama.cpp 安装好了，下一步是下载 GGUF 格式的 Qwen3.5 模型权重。这些文件很大，所以用 Hugging Face CLI 是最可靠的方法，直接把它们下载到 GPU 机器上。

我们先安装 Python，因为 Hugging Face 下载工具和认证工具是作为 Python 包分发的。虽然 llama.cpp 本身是用 C++ 写的，但 Python 让管理模型下载和传输容易多了。

先安装 pip：

sudo apt install python3-pip -y

接下来，安装 Hugging Face Hub 客户端和性能辅助工具。hf_transfer 和 hf-xet 能大幅加快下载速度，这在下载数百 GB 的模型文件时很重要：

pip install huggingface_hub hf_transfer hf_xet

现在从 Hugging Face 下载 Qwen3.5 模型。这次我们只获取 MXFP4_MoE 变体，它针对高效的 MoE 推理进行了优化：

huggingface-cli download Qwen/Qwen3.5-MXFP4-MoE --local-dir model_storage/Qwen3.5

下载完成后，模型文件会存储在 model_storage/Qwen3.5 里，准备加载到 llama.cpp 进行本地推理。

启动推理服务

现在我们能用 llama-server 启动 Qwen3.5 了。这会给我们一个 OpenAI 兼容的 API 端点，能从本地工具和应用调用。

我们针对单 GPU 设置优化了服务器，做了三件关键的事。第一，启用 --fit-on，让 llama.cpp 自动在 GPU 显存和系统内存之间平衡模型，而不是在模型不能完全放进显存时失败。

第二，用 --ctx-size 16384 设置更大的上下文窗口，让服务器能处理更长的提示。第三，启用 --jinja 并传递 --chat-template-kwargs 来控制聊天格式，禁用思考模式以获得更快、更直接的响应。

用以下命令运行服务器：

./llama-server -m model_storage/Qwen3.5/model.gguf --port 8080 --fit-on --ctx-size 16384 --jinja --chat-template-kwargs '{"stop": ["<|end|>"]}'

模型加载时，你会注意到它同时使用 GPU 显存和系统内存，这对于大型 MoE 模型来说是正常的。

加载完成后，服务器可以在以下地址访问：

• 虚拟机上的 0.0.0.0:8080
• SSH 端口转发后本地机器上的 http://127.0.0.1:8080

让服务器保持运行。在本地电脑上，打开一个新终端，用 SSH 端口转发重新连接：

然后通过列出可用模型来测试服务器：

curl http://127.0.0.1:8080/v1/models

如果响应中看到 Qwen3.5，说明服务器运行正常，你可以准备从 OpenAI SDK 和本地应用调用它了。

接口测试

现在 Qwen3.5 推理服务器运行起来了，下一步是验证它能和真实的客户端应用正常工作。llama.cpp 最大的优势之一是 llama-server 暴露了 OpenAI 兼容的 API，这意味着你可以使用官方 OpenAI SDK 而不用改变代码结构。

先在本地机器上（或者如果你愿意的话在虚拟机里）安装 OpenAI Python 包：

pip install openai

现在运行一个简单的测试脚本。这会连接到你本地转发的端点 http://127.0.0.1:8080/v1，而不是 OpenAI 的云服务器。

这里有几个重要的细节需要理解：

• base_url 指向你本地的 Qwen3.5 服务器，而不是 OpenAI 的 API。
• SDK 仍然需要 api_key，但 llama.cpp 不强制认证，所以任何占位符值都可以。
• model="Qwen3.5" 名称和我们启动服务器时设置的别名匹配。

如果一切配置正确，你会从模型得到快速、清晰的响应。

这确认了：

• Qwen3.5 模型加载成功
• llama.cpp 服务器运行正常
• 你的 SSH 端口转发正常工作
• 端点与 OpenAI 风格的应用完全兼容

此时，你可以将 Qwen3.5 集成到任何已经支持 OpenAI API 格式的本地工具、智能体工作流或应用中。

股票筛选应用开发

llama.cpp 包含一个内置的、ChatGPT 风格的 WebUI，你可以用它直接在浏览器中与模型聊天。这对于快速测试、提示迭代和生成代码很有用，不需要先写任何客户端脚本。

因为我们已经设置了 SSH 端口转发，你可以在本地机器上打开 WebUI，它的行为就像服务器运行在你的笔记本上一样。

默认情况下，WebUI 可以在以下地址访问： http://127.0.0.1:8080

如果这个页面加载，它确认了两件事。你的 SSH 隧道工作正常，Qwen3.5 服务器可以在本地访问，同时仍然在 GPU 虚拟机上私密运行。

进入 WebUI 后，粘贴这个提示。目标是让模型同时生成 Python 代码和简短的使用指南。

构建一个简单的 Python TUI（文本用户界面）'股票筛选训练器'，使用 rich 库运行（没有 Web UI），用 python stock_app.py 启动。它应该让你输入股票代码列表，选择模式（成长/价值/分红）和风险（低/中/高），从免费来源获取每个股票的基本公开指标，显示实时加载状态，然后渲染一个漂亮的表格和'根据我的评分规则的前 5 名'部分，带有清晰的'仅供教育，不构成财务建议'免责声明，并将完整结果保存到 stockults.csv。

几秒钟内，Qwen3.5 应该会生成一个 stock_app.py 文件，通常还有一个关于如何运行它的快速解释。

现在切换到你的本地终端（你的笔记本）。安装生成的应用所需的依赖：

pip install rich yfinance pandas

这会安装：

• rich 用于 TUI 布局、表格、提示和进度指示器
• yfinance 用于获取免费的公开股票指标

创建一个名为 stock_app.py 的文件，粘贴模型生成的代码，然后运行：

python stock_app.py

运行脚本后，你应该会看到 TUI 在你的终端中正常启动。应用会提示你输入要分析的股票代码，以及你偏好的筛选模式和风险水平。

例如，我们用三只热门股票测试了它。

短暂的加载阶段后，工具返回完整的股票指标表格，根据评分规则突出显示结果，并将所有内容保存到 stock_results.csv 文件。

这是一个很好的例子，说明 Qwen3.5 如何仅使用 4-bit 量化模型端点和简单提示，一次性生成完整的工作应用。

总结

本地运行 Qwen3.5 是一种强大的方式，可以在保持一切私密和完全在你控制之下的同时，访问前沿规模的模型。在本文中，模型托管在单个 H200 GPU 虚拟机上，使用 SSH 端口转发从本地机器安全访问，并通过优化的 llama.cpp OpenAI 兼容端点提供服务。

也就是说，有一些实际限制值得记住。因为一切都依赖于活动的 SSH 隧道，连接需要保持稳定。如果你的网络中断或会话断开，你会失去对本地端口的访问，通常需要重新连接并重新启动部分工作流。

另一个常见问题是正确构建 llama.cpp。如果你没有为你的 GPU 指定正确的 CUDA 架构标志，编译可能需要更长时间，并且可能无法完全针对硬件进行优化。提前设置正确的架构会在构建时间和性能上产生明显差异。

最后，虽然 4-bit MXFP4_MoE 量化对于高效运行大型模型非常好，但它并不总是适合智能体编程工作流。在使用 Qwen Code CLI、Kilo Code CLI 和 OpenCode 等工具进行测试时，模型在深度推理方面遇到困难，并且在较长的生成循环中经常失败，有时甚至触发 GPU 不稳定。

更高精度的量化或更小的专注于推理的模型可能更适合可靠的基于智能体的编程。