GPT-OSS-20B 多用户并发 WEBUI 压力测试

• 平均响应时间（首 token 延迟 & 总完成时间）
• 每秒请求数（RPS）
• 服务稳定性（超时、崩溃率）

4.2 测试工具

使用 locust 模拟分布式压测。

测试脚本示例

from locust import HttpUser, task, between
import json

class AIUser(HttpUser):
    wait_time = between(1, 3)

    @task
    def chat_completion(self):
        payload = {
            "model": "gpt-oss-20b",
            "messages": [{"role": "user", "content": "请简述量子计算的基本原理"}],
            "max_tokens": 150,
            "temperature": 0.7
        }
        headers = {"Content-Type": "application/json"}
        self.client.post("/chat/completions", data=json.dumps(payload), headers=headers)

启动命令：

locust -f locustfile.py --headless -u 10 -r 2 --run-time 5m

4.3 测试场景

5. 测试结果分析

5.1 关键性能数据

注：超过 10 人后延迟明显增长，20 人时部分请求因队列过长被丢弃。

5.2 实际体验

• 1~5 用户场景：体验流畅，几乎无感知延迟。
• 10 用户以内：响应时间在 3~4 秒之间，适合中小型团队共享。
• 20 用户并发：首 token 超 1 秒，不建议长期处于此负载。

6. 提升并发能力的建议

6.1 调整 vLLM 参数

通过环境变量优化启动配置：

python -m vllm.entrypoints.openai.api_server \
--model gpt-oss-20b \
--tensor-parallel-size 2 \
--max-model-len 4096 \
--gpu-memory-utilization 0.9 \
--max-num-seqs 256

6.2 负载均衡扩展

对于 >15 人的团队，建议采用 Nginx 分发请求至多个 GPU 实例：

[客户端] -> [Nginx 负载均衡] -> [实例 A] [实例 B]

6.3 缓存高频问答

引入 Redis 缓存机制减少重复请求压力：

import hashlib
import redis

r = redis.Redis(host='localhost', port=6379, db=0)

def get_cache_key(prompt):
    return "qa:" + hashlib.md5(prompt.encode()).hexdigest()

def cached_generate(prompt):
    key = get_cache_key(prompt)
    if r.exists(key):
        return r.get(key).decode()
    result = call_vllm_api(prompt)
    r.setex(key, 3600, result)
    return result

7. 总结

经过全面测试，得出以下结论：

• ✅ 适合 10 人以内的团队共用：响应稳定，性价比高。
• ✅ 适合作为企业知识库问答引擎：支持长上下文理解。
• ⚠️ 不适合超高并发场景（>20 人）：需配合负载均衡或多实例部署。
• ❌ 不适合移动端低延迟应用：首 token 延迟难以满足即时交互需求。

若需进一步扩展，可结合内部系统（OA、CRM）集成 OpenAI 兼容接口，实现智能引擎的无缝接入。