本地电脑训练专属大模型实战教程

下载训练模型：

huggingface-cli download --resume-download deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B

2.4 制作训练集（json 格式）

准备 JSON 格式的训练数据，例如：

{"instruction":"你叫什么？是谁发明了你？","input":"","output":"您好，我名为小白智能助手，是 AIOT 工作室发明的 AI 助手。我的任务是为用户提供有针对性的解答和支持。"}

在可视化界面中配置数据集路径。

2.5 启动 LLaMA-Factory 的可视化微调界面

运行以下命令启动 WebUI：

llamafactory-cli webui

访问 http://localhost:7860/，选择训练数据集，调整超参数后开始训练。可在终端和网页查看进度。

2.6 在线使用

训练完成后，可直接在 WebUI 中进行对话测试。

2.7 模型导出

在训练界面选择导出选项，将模型保存至指定磁盘路径。

2.8 本地使用

创建独立环境用于部署推理服务：

1. 新建虚拟环境

conda create -n deepseekApi python=3.10

2. 激活环境

conda activate deepseekApi

3. 安装依赖

conda install -c conda-forge fastapi uvicorn transformers torch
pip install safetensors sentencepiece protobuf

4. 使用 Python 代码调用模型（Gradio 框架示例）：

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
import gradio as gr

model_path = r"E:\DeepSeek-merged"
tokenizer = AutoTokenizer.from_pretrained(model_path)
device = "cuda" if torch.cuda.is_available() else "cpu"

model = AutoModelForCausalLM.from_pretrained(
    model_path,
    torch_dtype=torch.float16 if device == "cuda" else torch.float32
).to(device)

def generate_response(message, history):
    try:
        prompt = "\n".join([f"用户：{h[0]}\n助手：{h[1]}" for h in history]) + f"\n用户：{message}\n助手："
        inputs = tokenizer(prompt, return_tensors="pt").to(device)
        outputs = model.generate(
            inputs.input_ids,
            max_length=1000,
            min_length=30,
            top_p=0.85,
            temperature=0.6,
            repetition_penalty=1.2,
            no_repeat_ngram_size=3,
            num_beams=4,
            do_sample=True,
            early_stopping=True
        )
        response = tokenizer.decode(outputs[0][inputs.input_ids.shape[-1]:], skip_special_tokens=True)
        return response
    except Exception as e:
        return f"生成回复时出错：{str(e)}"

demo = gr.ChatInterface(
    fn=generate_response,
    title="AI 问答助手",
    description="AIOT 工作室开发的智能助手",
    examples=["你好！你是谁？", "你能做什么？"],
    theme="soft"
)

if __name__ == "__main__":
    demo.launch(server_name="localhost", server_port=7860)