LLaMA-Factory安装教程(详细版)

LLaMA-Factory安装教程(详细版)

本机显卡双3090

使用wsl中ubuntu

torch==2.6.0

conda==24.5.0

cuda==12.4

python==3.12.4(python安装不做赘述,有需要我会另开一篇文章)

一、准备工作

首先,在 https://developer.nvidia.com/cuda-gpus 查看您的 GPU 是否支持CUDA。

保证当前 Linux 版本支持CUDA. 在命令行中输入 

 uname -m && cat /etc/*release

输出如下,不一定完全一样,类似即可

检查是否安装了 gcc . 在命令行中输入 gcc --version ,应当看到类似的输出

二、pytorch和cuda安装

使用官网版本2.6.0   官网链接:Previous PyTorch Versions   箭头一栏可以看到历史版本

根据其指令安装对应版本

# ROCM 6.1 (Linux only) pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/rocm6.1 # ROCM 6.2.4 (Linux only) pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/rocm6.2.4 # CUDA 11.8 pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu118 # CUDA 12.4 pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu124 # CUDA 12.6 pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu126 # CPU only pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cpu

三、校检torch和cuda版本

安装完查看自己的torch版本

conda list

cuda版本则需要进入python

import torch print(torch.version.cuda)

四、LLaMA-Factory 安装

运行以下指令以安装 LLaMA-Factory 及其依赖:

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory pip install -e ".[torch,metrics]"

五、LLaMA-Factory 校验

完成安装后,可以通过使用以下命令。

llamafactory-cli version

如果您能成功看到类似下面的界面,就说明安装成功了。

六、LLaMA-Factory 网页版

LLaMA-Factory 支持通过 WebUI 零代码微调大语言模型。 在完成 安装 后,通过以下指令进入 WebUI:

llamafactory-cli webui

其中 http://127.0.0.1:7860就是你的可视化网址。

注:该网址只限于本机使用,如需联网多人服务器使用则需使用内网穿透。

ps.需要更详细的LLaMA-Factory参数详解,请点击关注催更留言,觉得内容不错留个赞再走吧,您的认可就是我更新的动力。

Read more

GLM-4-9B-Chat-1M部署教程:华为云ModelArts模型部署与在线服务API调用实测

GLM-4-9B-Chat-1M部署教程:华为云ModelArts模型部署与在线服务API调用实测 1. 引言 想象一下,你手头有一份长达300页的PDF合同,或者一整年的公司财报,你想让AI帮你快速总结核心条款、提取关键数据,甚至对比不同章节的差异。传统的大模型面对几十万字的文本,要么直接“罢工”,要么处理速度慢得像蜗牛。 今天要介绍的GLM-4-9B-Chat-1M,就是为了解决这个痛点而生的。它最大的亮点,就是那个惊人的“1M”——这意味着它能一次性处理大约200万汉字的超长文本。更关键的是,它只需要一张消费级显卡(比如RTX 3090)就能跑起来,对企业或个人开发者来说,部署门槛大大降低。 你可能听说过动辄需要上百G显存的千亿参数模型,但那些“巨无霸”对硬件要求太高。GLM-4-9B-Chat-1M走的是另一条路:在保持9B(90亿)这个相对轻量级参数规模的同时,通过技术优化,将上下文处理能力拉满到1M token。简单说,它就是为“长文本处理”这个专项任务而生的“特种兵”。 本教程将带你一步步在华为云ModelArts上,把这个“长文本特种兵”部署起来,并教你如何

AI辅助编程工具(三) - Github Copilot

AI辅助编程工具(三) - Github Copilot

三、Github Copilot 简单来说,GitHub Copilot 是由 GitHub 和 OpenAI 共同开发的人工智能编程助手。它基于 OpenAI 的 GPT-4 等大模型,并在海量的开源代码库上进行过训练。 它的工作原理: 它不只是一个简单的“自动补全”工具。它会读取你的代码上下文——包括你刚刚写的变量名、光标所在的文件、甚至是项目中其他相关文件的代码——然后实时预测你接下来想写什么。 对于前端开发者而言,它最迷人的地方在于:它懂 React、懂 Vue、懂 Tailwind CSS,甚至懂你那不规范的代码风格。 3.1 GitHub Copilot 安装与使用 安装前的准备 在开始之前,你需要确保拥有以下条件: 1. GitHub 账号:如果没有,请先去 GitHub

Copilot vs Cursor vs Trae vs ChatGPT:哪个AI编程工具最适合你的开发场景?

Copilot vs Cursor vs Trae vs ChatGPT:开发者实战选型指南 当AI编程工具从实验室走向工程实践,选择困难症便开始困扰每一位开发者。GitHub Copilot的代码补全、Cursor的项目级重构、Trae的流程自动化以及ChatGPT的原理解析——这四类工具看似功能重叠,实则各有不可替代的战场。本文将带您深入真实开发场景,用实战案例拆解每款工具的杀手锏。 1. 日常编码场景的效能革命 在常规业务开发中,效率提升往往体现在那些重复却必要的代码片段上。Copilot凭借与IDE深度集成的优势,在以下场景展现出惊人爆发力: * CRUD接口生成:输入// REST API for user management,它能自动补全Controller层结构 * 前端组件构建:描述// React table with pagination,完整TSX代码即刻呈现 * 错误处理样板:键入try{ 后自动补全完整的异常捕获块 // Copilot生成的典型CRUD代码示例 async function getUserById(id) { try {

1000 多万次播放背后的 AIGC 方法论:对爆款视频《牌子》进行“拉片”

现在是 2026 年 2 月。如果你还没搞清楚当下 AI 到底强到什么程度,这段时间最容易被用来“当场打脸”的样本,几乎就是 B 站那条 7 分钟的 AI 短片《牌子》(片名《SIGN》)。一周 1000 多万播放、80 多万点赞、30 多万投币,导演郭帆转发点赞,YouTube 上老外震惊,评论区逐帧分析,甚至“差评编辑部”的后期们也在上班时间讨论它到底怎么做出来——这种传播强度,已经不是“技术圈自嗨”,而是跨圈层的内容事件。 但更有价值的问题其实不是“用了什么模型、什么提示词”,而是:**为什么这条片子能以 AIGC 的方式被做出来,并且做成了一个能扛住大众审美的作品?**换句话说,这背后有没有一套可复用的方法论,让更多人不靠“