LLaMA-Factory安装教程(详细版)

LLaMA-Factory安装教程(详细版)

本机显卡双3090

使用wsl中ubuntu

torch==2.6.0

conda==24.5.0

cuda==12.4

python==3.12.4(python安装不做赘述,有需要我会另开一篇文章)

一、准备工作

首先,在 https://developer.nvidia.com/cuda-gpus 查看您的 GPU 是否支持CUDA。

保证当前 Linux 版本支持CUDA. 在命令行中输入 

 uname -m && cat /etc/*release

输出如下,不一定完全一样,类似即可

检查是否安装了 gcc . 在命令行中输入 gcc --version ,应当看到类似的输出

二、pytorch和cuda安装

使用官网版本2.6.0   官网链接:Previous PyTorch Versions   箭头一栏可以看到历史版本

根据其指令安装对应版本

# ROCM 6.1 (Linux only) pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/rocm6.1 # ROCM 6.2.4 (Linux only) pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/rocm6.2.4 # CUDA 11.8 pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu118 # CUDA 12.4 pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu124 # CUDA 12.6 pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu126 # CPU only pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cpu

三、校检torch和cuda版本

安装完查看自己的torch版本

conda list

cuda版本则需要进入python

import torch print(torch.version.cuda)

四、LLaMA-Factory 安装

运行以下指令以安装 LLaMA-Factory 及其依赖:

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory pip install -e ".[torch,metrics]"

五、LLaMA-Factory 校验

完成安装后,可以通过使用以下命令。

llamafactory-cli version

如果您能成功看到类似下面的界面,就说明安装成功了。

六、LLaMA-Factory 网页版

LLaMA-Factory 支持通过 WebUI 零代码微调大语言模型。 在完成 安装 后,通过以下指令进入 WebUI:

llamafactory-cli webui

其中 http://127.0.0.1:7860就是你的可视化网址。

注:该网址只限于本机使用,如需联网多人服务器使用则需使用内网穿透。

ps.需要更详细的LLaMA-Factory参数详解,请点击关注催更留言,觉得内容不错留个赞再走吧,您的认可就是我更新的动力。

Read more

Stable Diffusion显存管理技术解析与优化实践

Stable Diffusion显存管理技术解析与优化实践 【免费下载链接】sd-webui-memory-releaseAn Extension for Automatic1111 Webui that releases the memory each generation 项目地址: https://gitcode.com/gh_mirrors/sd/sd-webui-memory-release 在AI绘画创作过程中,显存管理问题常常成为影响创作体验的关键因素。许多用户在连续生成图像时会遇到显存不足的困扰,这不仅打断了创作流程,还可能造成时间与精力的浪费。针对这一痛点,SD WebUI Memory Release扩展应运而生,为创作者提供了专业的显存管理解决方案。 技术原理深度剖析 显存占用机制解析 现代深度学习框架在执行推理任务时,会在显存中缓存中间计算结果和模型权重。这种缓存机制虽然能提升计算效率,但在连续生成场景下容易导致显存碎片化和内存泄漏问题。具体表现为: * 计算图缓存:PyTorch框架为优化计算性能而保留的计算图结构 * 模型权重驻留:加载的检

GitHub Copilot转变为兼容API

解锁GitHub Copilot全场景使用!copilot-api让Copilot兼容OpenAI/Anthropic生态 作为开发者,你是否曾因GitHub Copilot仅能在指定IDE中使用而感到受限?是否想让Copilot对接Raycast、Claude Code等工具,却苦于接口不兼容?由ericc-ch开发的copilot-api项目给出了完美答案——这是一个反向工程实现的GitHub Copilot API代理,能将Copilot封装为兼容OpenAI和Anthropic规范的API服务,让你在任意支持该规范的工具中轻松调用Copilot能力,彻底解锁Copilot的全场景使用潜力。 项目核心价值:打破生态壁垒,复用Copilot订阅 GitHub Copilot凭借优秀的代码补全、推理能力成为开发者必备工具,但原生仅支持VS Code、JetBrains等少数IDE,且无公开的标准API接口。而copilot-api的核心作用,就是架起Copilot与OpenAI/Anthropic生态的桥梁: * 对于拥有Copilot订阅(个人/企业/商业版)的开发者,

vs code 中内置的聊天是 GitHub Copilot Chat 吗

vs code 中内置的聊天是 GitHub Copilot Chat 吗

vs code 中内置的聊天是 GitHub Copilot Chat 吗 vs code 中内置的聊天要分情况讨论: 1. VS Code 内置的聊天(“Ask Cody”):不是 GitHub Copilot Chat VS Code 在 2023 年底(1.85 版本)引入了一个内置的聊天侧边栏,它的默认提供者是 VS Code 自己的 AI 助手 “Cody”。 * 这个功能是 VS Code 编辑器的一部分,图标通常是一个对话框气泡 💬。 * 它的目标是提供与编辑器深度集成的通用编程帮助,例如解释代码、生成代码、问答等。 * 它不一定与你的 GitHub Copilot 订阅绑定,即使你没有订阅

Stable Diffusion XL 1.0艺术化落地:灵感画廊镜像免配置部署教程

Stable Diffusion XL 1.0艺术化落地:灵感画廊镜像免配置部署教程 1. 开篇:走进灵感画廊的艺术世界 想象一下,你不需要学习复杂的参数设置,不需要面对冰冷的工业界面,只需要在一个充满艺术气息的空间里,用自然语言描述你的创意想法,就能生成高质量的艺术作品。这就是"灵感画廊"带给你的创作体验。 灵感画廊是基于Stable Diffusion XL 1.0打造的沉浸式艺术创作工具。它把技术复杂性隐藏在优雅的界面背后,让你专注于创意本身。就像走进一个真正的艺术沙龙,这里没有繁琐的操作步骤,只有与AI的自然对话和灵感碰撞。 无论你是专业设计师、艺术爱好者,还是完全不懂技术的创意人士,都能在几分钟内上手使用,开始你的艺术创作之旅。 2. 环境准备与一键部署 2.1 系统要求 在开始之前,请确保你的环境满足以下要求: * 操作系统:Ubuntu 18.04+ 或 CentOS 7+ * GPU: