大模型应用开发实战：从环境搭建到 API 服务

这里我以清华智谱 ChatGLM3 模型为例，下载到 D:\Transformers。如果人品不是太差的话，运行效果如下：

总共有 15G 左右，需要等一段时间。至此一个大模型顺利下载完毕，它的结构如下图所示，别问我里面是啥，我也看不懂：

![图 4：模型目录结构]

模型使用

以上算是完成了全部的准备工作，作为一个有效率的打工人，马上迫不及待地想看效果了。立马码字：

from modelscope import AutoTokenizer, AutoModel
import torch

# 加载模型和分词器
model_path = r'D:\Transformers\chatglm3-6b'
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModel.from_pretrained(model_path, device_map="auto", trust_remote_code=True).eval()

# 生成回答
response, history = model.chat(tokenizer, "你好", history=[])
print(response)

这段代码意图无比清晰，启动刚刚下载的 chatglm3-6b 模型，和它打个招呼，羞涩地问下：'你好'。先别急着运行，因为你运行肯定会报错（多么痛地领悟，该踩的坑我都踩完了）。先参考上文，在 PyCharm 命令终端依次执行以下安装命令，保证安装模型运行所需要的包：

conda install pytorch torchvision torchaudio cpuonly -c pytorch

全部安装完毕后，点击 Debug 尝试运行：

ChatGLM 会输出类似'你好！我是人工智能助手 ChatGLM3-6B，很高兴见到你，欢迎问我任何问题。'这样的回答。当然，就像文章开始说的结果不确定，你的结果和上面不一定相同。

视频我剪辑过，在我的电脑上，实际运行时间 5 分钟左右。至此最简单的模型应用开发完毕。

提供 API 支持

上面最简单的 Hello World 写完了，接下来就要为各种客户端提供接口服务。.NET 有 WebAPI + IIS，Java 有 Spring Boot+Tomcat，大模型有 FastAPI+Uvicorn：FastAPI 用于构建应用的业务逻辑，Uvicorn 是运行这些应用的服务器。

参考上文，在 PyCharm 命令终端依次执行以下安装命令：

pip install fastapi uvicorn

把上面的代码微调一下，封装成 API：

from fastapi import FastAPI
from pydantic import BaseModel
import uvicorn
from modelscope import AutoTokenizer, AutoModel

app = FastAPI()

# 全局加载模型（避免每次请求都加载）
model_path = r'D:\Transformers\chatglm3-6b'
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModel.from_pretrained(model_path, device_map="auto", trust_remote_code=True).eval()

class Message(BaseModel):
    text: str

@app.post("/chat")
async def chat_endpoint(message: Message):
    response, _ = model.chat(tokenizer, message.text, history=[])
    return {"reply": response}

if __name__ == "__main__":
    uvicorn.run(app, host="0.0.0.0", port=7866)

点击 Debug 尝试运行，即可启动一个 7866 端口的 API 服务。

我们用 Postman 等客户端工具测试一下：

![图 7：Postman 测试结果]

编写客户端

服务端有了，当然要做个漂亮的客户端，总不能一直用 Postman。不得不吐槽下，大模型也搞前后端分离这套！.NET Java 有 HttpRequest，JS 有 jQuery、Axios，大模型也有个出名的库 LangChain，官方的解释它提供了'链'的概念，允许开发者将多个语言模型调用、API 请求、数据处理等操作链接起来，以创建更复杂的应用流程。这里你就当它是个用来封装 HTTP 请求的客户端吧！还是按上文的方式先安装：

pip install langchain requests

在工程里面新建一个文件 client.py。编写客户端代码：

import requests

url = "http://localhost:7866/chat"
data = {"text": "你是谁？"}
response = requests.post(url, json=data)
print(response.json())

执行一下，和它说个'你好'，再问下它是谁，效果如下（再次友情提示：视频剪辑过，肯定没有这么快）：

![图 8：客户端测试结果]

等等，这好像还是算不上客户端！怎么着也得个应用程序 APP 之类，再不济也得有个 Web 吧！好吧，安排！为了搞大模型的人能安心研究模型，不用花精力在界面上。市场上就出现了 2 个常用的大模型 Web 界面框架 Gradio 和 Streamlit，不用去研究哪个更好，顺手就行！类似 ElementUI、AntDesign 没必要非争个你死我活的！我这里以 Gradio 为例，先安装：

pip install gradio

在工程里面新建一个文件 webclient.py。编写网页代码：

import gradio as gr
import requests

def predict(text):
    url = "http://localhost:7866/chat"
    try:
        res = requests.post(url, json={"text": text})
        return res.json().get("reply", "Error")
    except Exception as e:
        return f"Error: {str(e)}"

with gr.Blocks() as demo:
    gr.Markdown("# 大模型对话演示")
    input_text = gr.Textbox(label="输入内容")
    output_text = gr.Textbox(label="模型回复")
    btn = gr.Button("发送")
    btn.click(predict, inputs=input_text, outputs=output_text)

demo.launch()

执行一下：

![图 9：Gradio 启动界面]

在浏览器里面打开：就可以看到我们的客户端。这时随便问大模型几个问题吧（再次友情提示：视频剪辑过，后面那个问题 1500 多秒）：

![图 10：Web 客户端交互]

到这里，入门流程介绍完毕。看的人多的话，我会继续介绍模型微调和训练，希望大家喜欢！

总结与展望

本文从零开始，演示了如何在大模型领域进行基础应用开发。我们经历了环境配置、模型下载、本地推理、API 封装以及前端交互的全过程。

虽然目前只是一个简单的 Demo，但已经具备了后续扩展的基础。在实际生产环境中，你可能还需要考虑以下几点：

1. 并发处理：当前单线程推理在高并发下性能不足，需引入异步队列或负载均衡。
2. 显存优化：对于更大参数的模型，可能需要量化（Quantization）或使用 vLLM 等推理加速框架。
3. 数据安全：确保用户输入数据的安全性和隐私保护，特别是涉及企业敏感信息时。
4. 持续迭代：根据业务反馈调整 Prompt 或进行微调（Fine-tuning），以获得更精准的回答。

希望这篇教程能帮助你跨越大模型开发的门槛，开启你的 AI 应用之旅。