本地训练专属大模型：DeepSeek-R1 微调实战指南

修改大模型下载位置（这个一般不需要修改）

echo $env:HF_ENDPOINT="https://hf-mirror.com"

安装 huggingface_hub（如果第一个下载爆红，可以试试第二个镜像源）

pip install -U huggingface_hub

pip install -U huggingface_hub -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple

下载训练模型

huggingface-cli download --resume-download deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B

4. 制作训练集（json 格式）

{"instruction":"你叫什么？是谁发明了你？","input":"","output":"您好，我名为 小白智能助手，是 AI 助手。我的任务是为用户提供有针对性的解答和支持。"}

配置训练集路径。

5. 启动 LLaMA-Factory 的可视化微调界面

llamafactory-cli webui

访问 http://localhost:7860/，选择自己的训练数据集。

训练的超参数根据自己的需求调整。

点击开始训练。

在 PyCharm 和网页可以查看训练进度。

训练完毕。

6. 在线使用

在微调界面中可以直接进行在线对话测试。

7. 模型导出

选择一个内存足够的盘符进行导出。

8. 本地使用

创建一个新环境，跟之前的训练环境隔开，如果不使用 python 做前端界面可以省略这一步。

1. 新建 deepseekApi 虚拟环境

conda create -n deepseekApi python=3.10

2. 激活虚拟环境 deepseekApi

conda activate deepseekApi

3. 下载所需依赖

conda install -c conda-forge fastapi uvicorn transformers pytorch

pip install safetensors sentencepiece protobuf

4. 现在就可以使用 python 代码进行本地调用。

5. 使用 python 编程实现上述功能，采用 gradio 框架进行快速开发部署（http://localhost:7860/）

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
import gradio as gr

# 模型路径
model_path = r"E:\DeepSeek-merged"  # 这里选择自己保存的路径

# 加载模型和 tokenizer
tokenizer = AutoTokenizer.from_pretrained(model_path)
device = "cuda" if torch.cuda.is_available() else "cpu"
model = AutoModelForCausalLM.from_pretrained(
    model_path, torch_dtype=torch.float16 if device == "cuda" else torch.float32
).to(device)

def generate_response(message, history):
    try:
        # 将历史对话拼接成 prompt
        prompt = "\n".join([f"用户：{h[0]}\n助手：{h[1]}" for h in history]) + f"\n用户：{message}\n助手："
        # 编码输入
        inputs = tokenizer(prompt, return_tensors="pt").to(device)
        # 生成回复
        outputs = model.generate(
            inputs.input_ids,
            max_length=1000,
            min_length=30,
            top_p=0.85,
            temperature=0.6,
            repetition_penalty=1.2,
            no_repeat_ngram_size=3,
            num_beams=4,
            do_sample=True,
            early_stopping=True
        )
        # 解码并提取新生成的回复
        response = tokenizer.decode(outputs[0][inputs.input_ids.shape[-1]:], skip_special_tokens=True)
        return response
    except Exception as e:
        return f"生成回复时出错：{str(e)}"

# 创建 Gradio 界面
demo = gr.ChatInterface(
    fn=generate_response,
    title="AI 问答助手",
    description="智能助手",
    examples=["你好！你是谁？", "你能做什么？"],
    theme="soft"
)

if __name__ == "__main__":
    # demo.launch(server_name="0.0.0.0", server_port=7860)  # 所有端口都可以访问
    demo.launch(server_name="localhost", server_port=7860)  # 本地访问