本地训练专属大模型指南：基于 LLaMA-Factory 微调 DeepSeek-R1

huggingface-cli download --resume-download deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B 

2.4 制作训练集（json 格式）

准备 JSON 格式的训练数据，包含 instruction、input 和 output 字段：

{"instruction":"你叫什么？是谁发明了你？","input":"","output":"您好，我名为小白智能助手，是 AIOT 工作室发明的 AI 助手。我的任务是为用户提供有针对性的解答和支持。"}

在 LLaMA-Factory 界面中配置数据集路径。

2.5 启动可视化微调界面

运行命令启动 WebUI：

llamafactory-cli webui 

访问 http://localhost:7860/，选择训练数据集，调整超参数后开始训练。可在终端和网页查看进度。

2.6 在线使用

训练完成后，可直接在 WebUI 中进行对话测试。

2.7 模型导出

在 WebUI 中选择导出路径，将微调后的模型保存至本地磁盘。

2.8 本地使用

创建新环境部署 API 服务：

conda create -n deepseekApi python=3.10
conda activate deepseekApi 
conda install -c conda-forge fastapi uvicorn transformers torch
pip install safetensors sentencepiece protobuf 

使用 Python 代码调用模型（Gradio 示例）：

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
import gradio as gr

# 模型路径
model_path = r"E:\DeepSeek-merged"

# 加载模型和 tokenizer
tokenizer = AutoTokenizer.from_pretrained(model_path)
device = "cuda" if torch.cuda.is_available() else "cpu"
model = AutoModelForCausalLM.from_pretrained(
    model_path, torch_dtype=torch.float16 if device == "cuda" else torch.float32
).to(device)

def generate_response(message, history):
    try:
        prompt = "\n".join([f"用户：{h[0]}\n助手：{h[1]}" for h in history]) + f"\n用户：{message}\n助手："
        inputs = tokenizer(prompt, return_tensors="pt").to(device)
        outputs = model.generate(
            inputs.input_ids,
            max_length=1000,
            min_length=30,
            top_p=0.85,
            temperature=0.6,
            repetition_penalty=1.2,
            no_repeat_ngram_size=3,
            num_beams=4,
            do_sample=True,
            early_stopping=True
        )
        response = tokenizer.decode(outputs[0][inputs.input_ids.shape[-1]:], skip_special_tokens=True)
        return response
    except Exception as e:
        return f"生成回复时出错：{str(e)}"

demo = gr.ChatInterface(
    fn=generate_response,
    title="AI 问答助手",
    description="智能助手",
    examples=["你好！你是谁？", "你能做什么？"],
    theme="soft"
)

if __name__ == "__main__":
    demo.launch(server_name="localhost", server_port=7860)