LLaMA-Factory安装教程(详细版)

LLaMA-Factory安装教程(详细版)

本机显卡双3090

使用wsl中ubuntu

torch==2.6.0

conda==24.5.0

cuda==12.4

python==3.12.4(python安装不做赘述,有需要我会另开一篇文章)

一、准备工作

首先,在 https://developer.nvidia.com/cuda-gpus 查看您的 GPU 是否支持CUDA。

保证当前 Linux 版本支持CUDA. 在命令行中输入 

 uname -m && cat /etc/*release

输出如下,不一定完全一样,类似即可

检查是否安装了 gcc . 在命令行中输入 gcc --version ,应当看到类似的输出

二、pytorch和cuda安装

使用官网版本2.6.0   官网链接:Previous PyTorch Versions   箭头一栏可以看到历史版本

根据其指令安装对应版本

# ROCM 6.1 (Linux only) pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/rocm6.1 # ROCM 6.2.4 (Linux only) pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/rocm6.2.4 # CUDA 11.8 pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu118 # CUDA 12.4 pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu124 # CUDA 12.6 pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu126 # CPU only pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cpu

三、校检torch和cuda版本

安装完查看自己的torch版本

conda list

cuda版本则需要进入python

import torch print(torch.version.cuda)

四、LLaMA-Factory 安装

运行以下指令以安装 LLaMA-Factory 及其依赖:

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory pip install -e ".[torch,metrics]"

五、LLaMA-Factory 校验

完成安装后,可以通过使用以下命令。

llamafactory-cli version

如果您能成功看到类似下面的界面,就说明安装成功了。

六、LLaMA-Factory 网页版

LLaMA-Factory 支持通过 WebUI 零代码微调大语言模型。 在完成 安装 后,通过以下指令进入 WebUI:

llamafactory-cli webui

其中 http://127.0.0.1:7860就是你的可视化网址。

注:该网址只限于本机使用,如需联网多人服务器使用则需使用内网穿透。

ps.需要更详细的LLaMA-Factory参数详解,请点击关注催更留言,觉得内容不错留个赞再走吧,您的认可就是我更新的动力。

Read more

LinuxServer.io LibreOffice 容器化部署指南

LinuxServer.io LibreOffice 容器化部署指南

概述 LIBREOFFICE 是一款免费且功能强大的办公套件,作为 OpenOffice.org 的继任者,其简洁的界面和丰富的工具集能够有效提升用户的创造力与生产力。LinuxServer.io 团队提供的 LIBREOFFICE 容器镜像具有定期应用更新、简单的用户映射(PGID/PUID)、基于 s6 overlay 的自定义基础镜像、每周基础 OS 更新及定期安全更新等特性,支持 x86-64 和 arm64 架构,可通过 Web 界面便捷访问。 环境准备 Docker 环境安装 部署 LIBREOFFICE 容器前需先安装 Docker 环境,推荐使用以下一键安装脚本: bash <(wget -qO- https://xuanyuan.cloud/docker.sh) 该脚本将自动完成

By Ne0inhk
Flutter 三方库 server_native 的适配鸿蒙实战 - 驾驭极致底层核心扩展,实现 OpenHarmony 端服务端进程的深绑动态二进制计算底座

Flutter 三方库 server_native 的适配鸿蒙实战 - 驾驭极致底层核心扩展,实现 OpenHarmony 端服务端进程的深绑动态二进制计算底座

欢迎加入开源鸿蒙跨平台社区:https://openharmonycrossplatform.ZEEKLOG.net Flutter 三方库 server_native 的适配鸿蒙实战 - 驾驭极致底层核心扩展,实现 OpenHarmony 端服务端进程的深绑动态二进制计算底座 前言 随着鸿蒙(OpenHarmony)生态全力切入物联网与边缘计算领域,开发者们常常需要面对一个现实:虽然 Dart 语言在 IO 处理上极具优势,但在音视频硬解码、高密加密矩阵运算等极端场景下,Dart VM 的算力往往略显单薄。 想要在鸿蒙终端板上跑出服务器级的性能,单纯靠 Isolate 的横向扩容是不够的。我们需要一种能“扎进深坑榨性能”的技术,将鸿蒙底层针对特定芯片定制的 C++/Rust 原生库无缝整合进 Flutter 服务端。server_native 正是为了这种“跨界性能引渡”而生的强悍桥接阵列。它通过高效的 FFI

By Ne0inhk
【Linux】线程同步与互斥深度解析:从锁机制到生产者消费者模型

【Linux】线程同步与互斥深度解析:从锁机制到生产者消费者模型

目录 一、引言:多线程共享资源的问题     1.1 为什么需要同步与互斥?     1.2 核心概念铺垫 二、线程互斥:用互斥量(mutex)守护临界资源     2.1 互斥的核心:临界资源与临界区     2.2 互斥量接口与实战     2.3 RAII风格锁封装:避免锁泄漏 三、线程同步:条件变量(cond)实现有序协作     3.1 同步的意义:解决“竞态条件”     3.2 条件变量接口与核心原理     3.3 条件变量使用规范:避免伪唤醒     3.4 条件变量封装:与互斥量解耦 四、生产者消费者模型:同步互斥的经典实战

By Ne0inhk

Claude Code Router详细安装以及使用(包含Window and Linux)

首先要明白Claude Code Router是干什么的:能够将 Claude Code 的请求路由到多种不同的大模型,而不再局限于官方提供的 Claude 模型 Windows安装教程 1:安装Claude Code Router(默认以及安装了claude cli) npm install -g @musistudio/claude-code-router 2:在任意目录下运行以下命令启动交互式配置生成器 ccr start 配置文件位于Windows系统的用户目录下: C:\Users\<你的用户名>\.claude-code-router\config.json 3:配置Claude Code Router,在任意命令窗口执行 ccr ui 浏览器就会跳转如下Claude Code Router配置界面 点击添加供应商,再点击选着一个模板。下面以添加openrouter为例:当选择openrouter,他会帮我们自己配置完成相关信息,

By Ne0inhk