大模型原理简介与 ChatGLM3、Llama3.1 本地部署指南

进入 basic_demo 目录，修改 cli_demo.py 中的模型路径指向本地下载的模型文件。以下是完整的推理脚本示例：

import torch
from transformers import AutoTokenizer, AutoModel

model_name_or_path = "./chatglm3-6b"  # 替换为实际路径

tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, trust_remote_code=True)
model = AutoModel.from_pretrained(model_name_or_path, device_map="auto", trust_remote_code=True).half()

messages = [
    {"role": "user", "content": "你好，请介绍一下你自己。"}
]

response, history = model.chat(tokenizer, messages=messages, history=None)
print(response)

执行测试后，若输出正常回复，则部署成功。

2. Llama3.1 安装部署

Llama 3.1 由 Meta 发布，包含 8B、70B 和 405B 三种尺寸。其中 8B 版本适合个人开发者本地部署，原生支持 8 种语言，上下文窗口达 128k。

2.1 环境准备

配置与 ChatGLM3 类似，建议使用 Python 3.12 以获得更好的兼容性。

2.2 依赖下载

从 Hugging Face 或 ModelScope 下载模型权重。需确保有访问权限（部分模型需申请）。

2.3 运行推理

创建一个独立的 Python 脚本 llamachat.py 进行测试：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "meta-llama/Meta-Llama-3.1-8B-Instruct"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.float16,
    device_map="auto",
    use_cache=True
)

prompt = "Write a poem about artificial intelligence."
messages = [{"role": "user", "content": prompt}]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(text, return_tensors="pt").to("cuda")

outputs = model.generate(**inputs, max_new_tokens=256)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

2.4 OpenAI API 兼容模式

为了便于集成，可以使用 vllm 或 llama-cpp-python 将模型封装为 OpenAI 兼容接口。以下是一个简单的 FastAPI 服务示例：

from fastapi import FastAPI
from pydantic import BaseModel
import uvicorn

app = FastAPI()

class ChatRequest(BaseModel):
    message: str

@app.post("/chat")
async def chat(req: ChatRequest):
    # 此处调用上述加载的 model 进行推理
    return {"reply": "Inference result here..."}

if __name__ == "__main__":
    uvicorn.run(app, host="0.0.0.0", port=8000)

总结

本文详细介绍了人工智能三大流派及大模型的基本原理，并提供了 ChatGLM3-6B 和 Llama3.1-8B 的本地部署全流程指南。涵盖了环境搭建、依赖安装、代码编写及 API 封装等关键步骤。后续章节将深入探讨大模型的微调技术与行业应用开发。