GLM-4-9B-Chat-1M 实战：vLLM 加速与 Chainlit 前端集成

这个简洁的 JSON 说明：vLLM 服务已就绪，模型注册成功，API 网关工作正常。接下来，我们就可以放心地连接前端了。

Chainlit 前端：三步搭建专业级对话界面

Chainlit 的设计哲学很明确：让开发者专注对话逻辑，而不是 UI 细节。它内置了消息流渲染、历史记录管理、工具调用可视化等能力，你只需要告诉它'怎么生成回复'，剩下的都由它自动完成。

初始化 Chainlit 项目结构

在 /root/workspace/ 目录下，创建一个新文件夹并初始化：

mkdir -p /root/workspace/glm-chainlit && cd /root/workspace/glm-chainlit
touch app.py

Chainlit 的入口文件非常轻量，app.py 只需包含以下内容：

# -*- coding: utf-8 -*-
import chainlit as cl
from openai import OpenAI

# 配置 GLM-4-9B-Chat-1M 服务地址
BASE_URL = "http://127.0.0.1:8000/v1/"
client = OpenAI(api_key="EMPTY", base_url=BASE_URL)

@cl.on_chat_start
async def start():
    # 初始化会话时发送欢迎消息
    await cl.Message(
        content="你好！我是 GLM-4-9B-Chat-1M，支持最长 100 万 token 的上下文理解。你可以尝试问我：\n• 请总结这份 20 页 PDF 的核心观点\n• 在这段 10 万字的技术文档中，找出所有关于'内存泄漏'的解决方案\n• 帮我写一封英文邮件，内容是……"
    ).send()

@cl.on_message
async def main(message: cl.Message):
    # 构建符合 GLM-4 格式的消息列表
    # 注意：GLM-4 要求 system message 必须放在最前面
    messages = [
        {"role": "system", "content": "你是一个专业、严谨、乐于助人的 AI 助手。"},
    ]
    # 将历史消息加入（Chainlit 自动维护）
    chat_history = cl.user_session.get("chat_history", [])
    messages.extend(chat_history)
    # 添加当前用户消息
    messages.append({"role": "user", "content": message.content})
    
    # 调用 vLLM 服务
    try:
        stream = client.chat.completions.create(
            model="/data/model/glm-4-9b-chat",  # 模型路径需与镜像内一致
            messages=messages,
            stream=True,
            max_tokens=8192,
            temperature=0.4,
            top_p=0.9,
            presence_penalty=1.2
        )
        # 流式响应，逐字显示，模拟真实打字效果
        response_message = cl.Message(content="")
        await response_message.send()
        for chunk in stream:
            if chunk.choices[0].delta.content is not None:
                await response_message.stream_token(chunk.choices[0].delta.content)
        
        # 将 AI 回复存入历史，供下一轮使用
        cl.user_session.set("chat_history", messages + [{"role": "assistant", "content": response_message.content}])
    except Exception as e:
        await cl.Message(content=f"调用失败：{str(e)}").send()

启动 Chainlit 服务

确保你在 /root/workspace/glm-chainlit/ 目录下，执行：

chainlit run app.py -w

其中 -w 参数表示启用热重载，修改 app.py 后无需重启服务。

启动成功后，终端会输出类似提示：

> Starting Chainlit app...
> Running on http://localhost:8000
> Press Ctrl+C to stop

打开前端界面，开始第一次对话

在浏览器中访问 http://localhost:8000（注意：这里 Chainlit 默认用 8000，而 vLLM 服务通常也是 8000，但在容器映射时需区分端口，例如 vLLM 映射到 8000，Chainlit 映射到 8001，具体视 Docker 配置而定）。你会看到一个干净、现代的聊天界面。输入第一个问题，比如：'请用三句话概括《人工智能伦理指南》的核心原则'。

观察几个关键体验点： 🔹 响应速度：得益于 vLLM 的 PagedAttention 优化，即使处理长上下文，首字延迟也控制在 1 秒内 🔹 流式输出：文字像真人打字一样逐字出现，而非等待全部生成后再刷新 🔹 上下文记忆：连续提问'那第一条原则的具体实施建议是什么？'，它能准确关联前文

这个界面已经具备生产环境所需的基础能力，下一步我们来让它更强大。

进阶技巧：解锁 1M 上下文的真实威力

GLM-4-9B-Chat-1M 的 100 万 token 是经过权威评测验证的硬实力。但要让它在实际工作中发挥价值，你需要掌握几个关键技巧。

如何喂给模型'超长文本'：分块还是整段？

很多开发者第一反应是把 100 页 PDF 切分成小段，分别提问。这是误区。GLM-4-9B-Chat-1M 的设计初衷，就是让你一次性提交完整上下文。

正确做法是：

1. 将原始文本清洗后，拼接成一个长字符串
2. 在 system message 中明确指令：'你将收到一份完整的《XX 技术白皮书》，共约 85 万字。请严格基于该文本内容回答问题，不要编造。'
3. 在 user message 中直接提问：'第 3.2.1 节提到的'动态负载均衡算法'，其时间复杂度是多少？'

示例代码片段（添加到 app.py 的 main 函数中）：

# 在构建 messages 前，加入长文本预处理逻辑
if "上传文件" in message.content or message.elements:
    # Chainlit 支持文件上传，此处可集成 PDF 解析
    for element in message.elements:
        if element.type == "text":
            # 假设用户上传了文本文件
            long_context = element.content[:900000]  # 留 10 万 token 余量给 prompt
            messages[0]["content"] += f"\n\n【用户提供的长上下文】\n{long_context}"

多轮对话中的上下文管理：避免'失忆'

虽然 GLM-4-9B-Chat-1M 支持 128K 上下文，但 Chainlit 默认会把所有历史消息都塞进请求。当对话进行到第 10 轮，总 token 数很容易突破限制。

解决方案是：只保留最关键的上下文。我们在 app.py 中加入智能截断逻辑：

def truncate_messages(messages, max_tokens=100000):
    """按 token 数截断消息列表，优先保留 system 和最新 user 消息"""
    from transformers import AutoTokenizer
    tokenizer = AutoTokenizer.from_pretrained("/data/model/glm-4-9b-chat", trust_remote_code=True)
    total_tokens = sum(len(tokenizer.encode(m["content"] or "")) for m in messages)
    if total_tokens <= max_tokens:
        return messages
    
    # 保留 system message 和最后 3 轮 user+assistant
    kept = [messages[0]]  # system
    recent = messages[-6:]  # 最近 3 轮（user+assistant 各 3 条）
    kept.extend(recent)
    
    # 如果还超，从最早的历史开始删
    while sum(len(tokenizer.encode(m["content"] or "")) for m in kept) > max_tokens:
        if len(kept) > 2:
            kept.pop(1)  # 删除第二条（通常是最早的 user 消息）
        else:
            break
    return kept

# 在调用 client 前，替换 messages
messages = truncate_messages(messages)

工具调用实战：让模型'自己动手查资料'

GLM-4-9B-Chat-1M 原生支持 Function Calling，这意味着它不仅能回答问题，还能主动调用外部工具。镜像中已预置了 simple_browser（简易网页搜索）和 cogview（图像生成）两个工具。

在 app.py 中启用工具调用，只需修改 main 函数的调用参数：

# 替换原有的 stream 调用
tools = [
    {
        "type": "function",
        "function": {
            "name": "simple_browser",
            "description": "搜索互联网上的最新信息，当用户问题涉及实时数据、新闻、股价、天气等时使用。",
            "parameters": {
                "type": "object",
                "properties": {
                    "query": {"type": "string", "description": "搜索关键词"},
                    "recency_days": {"type": "integer", "description": "要求结果的时效性，单位：天"}
                },
                "required": ["query"]
            }
        }
    }
]
stream = client.chat.completions.create(
    model="/data/model/glm-4-9b-chat",
    messages=messages,
    tools=tools,
    tool_choice="auto",  # 让模型自主决定是否调用
    stream=True,
    # ... 其他参数保持不变
)

现在，当你问：'今天上海的天气怎么样？'，模型会自动生成类似这样的工具调用：

{"name": "simple_browser", "arguments": {"query": "上海天气预报", "recency_days": 1}}

Chainlit 会自动将此调用结果显示在对话中，并等待你提供工具返回结果（实际部署中，此处可接入真实搜索 API）。

性能调优：让 vLLM 跑得更快更稳

vLLM 的默认配置适合快速上手，但在生产环境中，你需要根据硬件微调几个关键参数。镜像中已预置了 glm_server.py，我们来修改它以释放全部性能。

显存利用率：平衡速度与稳定性

在 glm_server.py 中找到 gpu_memory_utilization 参数：

gpu_memory_utilization=0.9,  # 当前设置：使用 90% 显存

这个值不是越高越好。对于 V100 32GB 卡，建议值如下：

• 追求极致吞吐：设为 0.92，适合批量推理任务
• 保证长文本稳定：设为 0.85，为 1M 上下文预留更多缓冲空间
• 多用户并发：设为 0.75，避免 OOM 导致服务中断

修改后重启服务：

pkill -f glm_server.py
python -u /root/workspace/glm_server.py

并发请求数：从单线程到多 Worker

默认 workers=1 意味着所有请求排队处理。若你的 GPU 显存充足（如 A100 80GB），可开启多 Worker：

# 在 uvicorn.run() 前添加
import multiprocessing
workers = multiprocessing.cpu_count() // 2  # 通常设为 CPU 核心数的一半
# 修改 uvicorn.run 参数
uvicorn.run(app, host='0.0.0.0', port=8000, workers=workers)

注意：tensor_parallel_size 参数应与 GPU 数量匹配。单卡设为 1，双卡设为 2，以此类推。

日志与监控：快速定位瓶颈

在 glm_server.py 的 lifespan 函数中，加入简单的性能埋点：

@app.middleware("http")
async def add_process_time_header(request: Request, call_next):
    start_time = time.time()
    response = await call_next(request)
    process_time = time.time() - start_time
    response.headers["X-Process-Time"] = str(process_time)
    logger.info(f"Request {request.url.path} processed in {process_time:.2f}s")
    return response

这样每次请求后，你都能在 llm.log 中看到精确的耗时，轻松区分是模型推理慢，还是网络传输慢。

常见问题与解决方案

在真实部署中，你可能会遇到一些典型问题。这里整理了高频场景及应对方法。

问题：Chainlit 界面空白，控制台报 404

现象：浏览器打开 http://localhost:8000 显示空白，终端无错误，但 Network 面板显示 / 返回 404。

原因：Chainlit 版本与当前 Python 环境存在兼容性问题。

解决：降级 Chainlit 到稳定版

pip uninstall -y chainlit
pip install chainlit==1.1.300

问题：长文本输入后，模型回复'我无法处理这么长的内容'

现象：提交超过 50 万字符的文本，模型直接拒绝，而非尝试处理。

原因：vLLM 的 max_model_len 参数未对齐 1M 上下文能力。

解决：修改 glm_server.py 中的 MAX_MODEL_LENGTH 常量：

MAX_MODEL_LENGTH = 1048576  # 1024*1024 = 1M tokens
# 同时在 engine_args 中更新
max_model_len=MAX_MODEL_LENGTH,

问题：多轮对话后，响应越来越慢，最终超时

现象：第 1 轮响应 1 秒，第 5 轮变 5 秒，第 10 轮直接 timeout。

原因：Chainlit 默认将全部历史消息传给模型，导致 token 数指数增长。

解决：强制启用我们前面介绍的 truncate_messages 函数，并在 main 函数开头调用：

messages = truncate_messages(messages, max_tokens=800000)

问题：调用 simple_browser 工具时，返回空结果

现象：模型生成了工具调用，但 Chainlit 界面只显示调用语句，无后续结果。

原因：工具调用是异步的，当前代码未实现工具结果的回填逻辑。

解决：这是一个高级功能，需扩展 app.py。核心思路是：

1. 捕获模型返回的 tool_calls 字段
2. 解析 function.name 和 function.arguments
3. 调用对应工具（如用 requests 调用搜索引擎 API）
4. 将工具结果构造成 {"role": "tool", "content": "...", "tool_call_id": "xxx"} 格式
5. 将此消息加入 messages，再次调用 API

完整实现较复杂，建议参考官方文档或社区相关教程。

总结：从能用到好用的关键跨越

回顾整个流程，你已经完成了 GLM-4-9B-Chat-1M 从部署到落地的关键闭环： 🔹 验证了 1M 上下文的真实性：通过日志和 API 测试，确认这不是纸面参数，而是可触摸的工程能力 🔹 建立了低门槛交互界面：Chainlit 让你绕过前端开发，30 分钟内拥有专业级对话窗口 🔹 掌握了长文本处理的核心技巧：知道何时该整段提交、何时该智能截断、如何激活工具链 🔹 获得了生产级调优方法论：显存、并发、监控，每一步都有据可依

但真正的价值，不在于技术本身，而在于它能解决什么问题。想象一下：

• 法务团队用它在百万字合同库中，3 秒定位所有'不可抗力'条款的例外情形
• 教研组用它分析十年高考真题，自动生成知识点覆盖热力图
• 开源项目维护者用它阅读整个 Linux 内核的 commit log，总结某模块的演进脉络

这些场景，不再需要定制化开发，一套 vLLM+Chainlit 组合即可支撑。下一步，你可以尝试将 Chainlit 前端部署到公网，让团队成员都能访问，或者集成企业微信/飞书机器人，把 GLM-4-9B-Chat-1M 变成你的智能办公助理。技术的价值，永远体现在它让哪些曾经困难的事，变得轻而易举。