LLaMA-Factory安装教程(详细版)

LLaMA-Factory安装教程(详细版)

本机显卡双3090

使用wsl中ubuntu

torch==2.6.0

conda==24.5.0

cuda==12.4

python==3.12.4(python安装不做赘述,有需要我会另开一篇文章)

一、准备工作

首先,在 https://developer.nvidia.com/cuda-gpus 查看您的 GPU 是否支持CUDA。

保证当前 Linux 版本支持CUDA. 在命令行中输入 

 uname -m && cat /etc/*release

输出如下,不一定完全一样,类似即可

检查是否安装了 gcc . 在命令行中输入 gcc --version ,应当看到类似的输出

二、pytorch和cuda安装

使用官网版本2.6.0   官网链接:Previous PyTorch Versions   箭头一栏可以看到历史版本

根据其指令安装对应版本

# ROCM 6.1 (Linux only) pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/rocm6.1 # ROCM 6.2.4 (Linux only) pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/rocm6.2.4 # CUDA 11.8 pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu118 # CUDA 12.4 pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu124 # CUDA 12.6 pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu126 # CPU only pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cpu

三、校检torch和cuda版本

安装完查看自己的torch版本

conda list

cuda版本则需要进入python

import torch print(torch.version.cuda)

四、LLaMA-Factory 安装

运行以下指令以安装 LLaMA-Factory 及其依赖:

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory pip install -e ".[torch,metrics]"

五、LLaMA-Factory 校验

完成安装后,可以通过使用以下命令。

llamafactory-cli version

如果您能成功看到类似下面的界面,就说明安装成功了。

六、LLaMA-Factory 网页版

LLaMA-Factory 支持通过 WebUI 零代码微调大语言模型。 在完成 安装 后,通过以下指令进入 WebUI:

llamafactory-cli webui

其中 http://127.0.0.1:7860就是你的可视化网址。

注:该网址只限于本机使用,如需联网多人服务器使用则需使用内网穿透。

ps.需要更详细的LLaMA-Factory参数详解,请点击关注催更留言,觉得内容不错留个赞再走吧,您的认可就是我更新的动力。

Read more

Windows 环境下 llama.cpp 编译 + Qwen 模型本地部署全指南

在大模型落地场景中,本地轻量化部署因低延迟、高隐私性、无需依赖云端算力等优势,成为开发者与 AI 爱好者的热门需求。本文聚焦 Windows 10/11(64 位)环境,详细拆解 llama.cpp 工具的编译流程(支持 CPU/GPU 双模式,GPU 加速需依赖 NVIDIA CUDA),并指导如何通过 modelscope 下载 GGUF 格式的 Qwen-7B-Chat 模型,最终实现模型本地启动与 API 服务搭建。 1.打开管理员权限的 PowerShell/CMD,执行以下命令克隆代码: git clone https://github.com/ggml-org/llama.cpp mkdir

By Ne0inhk
2026 最新版|学生认证白嫖 GitHub Copilot Pro 保姆级教程

2026 最新版|学生认证白嫖 GitHub Copilot Pro 保姆级教程

2026 最新版|学生认证白嫖 GitHub Copilot Pro 保姆级教程 作为编程党,谁能拒绝免费的 Copilot Pro?每月省 10 $,解锁无限制代码补全、Anthropic Claude Sonnet 4, GPT-5, Gemini 2.5 Pro等高级模型、每月 300 次 Premium 请求,学生身份认证就能直接白嫖,全程零成本,亲测 2026 年有效!这篇教程把所有步骤、避坑点都捋清楚了,跟着做一遍过,再也不用受免费版额度的气! 前言 先说说为什么一定要冲 Copilot Pro:免费版每月只有 2000 次代码补全 + 50 次聊天请求,写代码刚进入状态就提示额度用完,体验感拉胯;而 Pro

By Ne0inhk
Flutter for OpenHarmony:Flutter 三方库 dart_openai — 激发鸿蒙应用的 AIGC (AI 大模型/ChatGPT、Deepseek等) 无限创意(适配鸿蒙

Flutter for OpenHarmony:Flutter 三方库 dart_openai — 激发鸿蒙应用的 AIGC (AI 大模型/ChatGPT、Deepseek等) 无限创意(适配鸿蒙

欢迎加入开源鸿蒙跨平台社区:https://openharmonycrossplatform.ZEEKLOG.net。 Flutter for OpenHarmony:Flutter 三方库 dart_openai — 激发鸿蒙应用的 AIGC (AI 大模型/ChatGPT、Deepseek等) 无限创意(适配鸿蒙 HarmonyOS Next ohos) 前言 随着生成式 AI(AIGC)浪潮席卷全球,将大语言模型(LLM)的智慧集成到移动应用中已成为大势所趋。无论是智能对话、代码生成,还是图像创作,AI 正在重塑我们的交互方式。 在 Flutter for OpenHarmony 开发中,我们如何让鸿蒙应用直接对话全球顶尖的 AI 模型?dart_openai 库通过对 OpenAI API 的完美封装,

By Ne0inhk
IntelliJ IDEA中GitHub Copilot完整使用教程:从安装到实战技巧

IntelliJ IDEA中GitHub Copilot完整使用教程:从安装到实战技巧

IntelliJ IDEA 中 AI 工具 Codex (GitHub Copilot) 完整使用教程 在 IntelliJ IDEA 中,Codex 的能力主要通过 GitHub Copilot 插件体现。它是目前最强大的 AI 编程助手,能够基于 OpenAI Codex 模型提供实时代码建议、业务逻辑实现以及复杂的重构支持。 一、 安装与环境配置 1. 插件安装 1. 打开 IntelliJ IDEA,进入设置:File -> Settings (Windows) 或 IntelliJ IDEA -> Settings (Mac)。 2. 在左侧菜单选择 Plugins,

By Ne0inhk