LLaMA-Factory安装教程(详细版)

LLaMA-Factory安装教程(详细版)

本机显卡双3090

使用wsl中ubuntu

torch==2.6.0

conda==24.5.0

cuda==12.4

python==3.12.4(python安装不做赘述,有需要我会另开一篇文章)

一、准备工作

首先,在 https://developer.nvidia.com/cuda-gpus 查看您的 GPU 是否支持CUDA。

保证当前 Linux 版本支持CUDA. 在命令行中输入 

 uname -m && cat /etc/*release

输出如下,不一定完全一样,类似即可

检查是否安装了 gcc . 在命令行中输入 gcc --version ,应当看到类似的输出

二、pytorch和cuda安装

使用官网版本2.6.0   官网链接:Previous PyTorch Versions   箭头一栏可以看到历史版本

根据其指令安装对应版本

# ROCM 6.1 (Linux only) pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/rocm6.1 # ROCM 6.2.4 (Linux only) pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/rocm6.2.4 # CUDA 11.8 pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu118 # CUDA 12.4 pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu124 # CUDA 12.6 pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu126 # CPU only pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cpu

三、校检torch和cuda版本

安装完查看自己的torch版本

conda list

cuda版本则需要进入python

import torch print(torch.version.cuda)

四、LLaMA-Factory 安装

运行以下指令以安装 LLaMA-Factory 及其依赖:

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory pip install -e ".[torch,metrics]"

五、LLaMA-Factory 校验

完成安装后,可以通过使用以下命令。

llamafactory-cli version

如果您能成功看到类似下面的界面,就说明安装成功了。

六、LLaMA-Factory 网页版

LLaMA-Factory 支持通过 WebUI 零代码微调大语言模型。 在完成 安装 后,通过以下指令进入 WebUI:

llamafactory-cli webui

其中 http://127.0.0.1:7860就是你的可视化网址。

注:该网址只限于本机使用,如需联网多人服务器使用则需使用内网穿透。

ps.需要更详细的LLaMA-Factory参数详解,请点击关注催更留言,觉得内容不错留个赞再走吧,您的认可就是我更新的动力。

Read more

Cogito-v1-preview-llama-3B实战案例:用3B模型完成SQL生成与API文档编写

Cogito-v1-preview-llama-3B实战案例:用3B模型完成SQL生成与API文档编写 在当今AI大模型动辄数十亿参数的时代,一个仅有3B参数的模型能否胜任实际开发任务?Cogito v1预览版给出了令人惊喜的答案。 1. 认识Cogito v1预览版:小而强的混合推理模型 Cogito v1预览版是Deep Cogito推出的混合推理模型系列中的佼佼者。这个仅有3B参数的模型在大多数标准基准测试中都超越了同等规模下的最优开源模型,包括来自LLaMA、DeepSeek和Qwen等知名模型的同类表现。 模型核心特点: * 混合推理能力:既可以直接回答问题(标准LLM模式),也可以在回答前进行自我反思(推理模式) * 广泛训练数据:在超过30种语言上进行训练,支持128k的超长上下文 * 专业优化:针对编码、STEM、指令执行和通用帮助性进行了专门优化 * 开源商用:采用开放许可发布,允许商业使用 最令人印象深刻的是,这个3B模型在编码能力和工具调用方面表现出色,完全能够胜任实际开发任务。 2. 快速上手:3分钟部署Cogito模型 2.1 环境

使用 VS Code 和 Android Studio 阅读 Android 源码:基于 Copilot 的高效代码分析技巧

使用 VS Code 和 Android Studio 阅读 Android 源码:基于 Copilot 的高效代码分析技巧

1. 背景 在日常开发中,大家常用 AI 工具(如 ChatGPT、DeepSeek 等)进行代码分析。但通过网页 AI 工具分析代码时,缺乏上下文,需要手动分段粘贴代码,效率低且容易遗漏关键信息。 公司引入 Copilot 后,大家多在 VS Code、Android Studio 等 IDE 插件中用 Copilot 进行代码分析。Copilot 能直接分析当前编辑器中的代码,并支持上下文,极大提升了分析效率,减少了人工粘贴的麻烦。 但实际开发中,仍存在以下痛点: * 代码跳转不连贯:对于 Android.bp soong 构建系统下的 Android 代码,不能自由地跳转到方法定义、实现、符号等。 * 查找方法繁琐:大部分

AIGC时代编程新宠!如何让孩子通过DeepSeek成为未来的编程大师?

AIGC时代编程新宠!如何让孩子通过DeepSeek成为未来的编程大师?

文章目录 * 一、激发编程兴趣:从游戏开始 * 二、个性化学习计划:DeepSeek的智能推荐 * 三、项目式学习:动手实践,学以致用 * 四、AI精准辅导:即时解答,深度学习 * 五、全面发展:平衡技术与人文 * 六、家长的陪伴与鼓励 * 《信息学奥赛一本通关》 * 本书定位 * 内容简介 * 作者简介 * 目录 在AIGC(Artificial Intelligence Generative Content,人工智能生成内容)技术蓬勃发展的今天,教育领域正经历一场深刻的变革。DeepSeek作为一款由杭州深度求索人工智能基础技术研究有限公司倾力打造的大语言模型工具,正以其卓越的性能和广泛的应用前景,在编程教育领域大放异彩。 一、激发编程兴趣:从游戏开始 孩子的兴趣是学习的最好驱动力。DeepSeek能够生成一系列基于AI的互动编程游戏,这些游戏通过简单的拖拽式编程界面,让孩子在玩乐中学习编程基础。 示例游戏:制作一个简单的“躲避障碍”小游戏 // 使用Scratch风格的伪代码说明 when green

【大模型科普】AIGC技术发展与应用实践(一文读懂AIGC)

【大模型科普】AIGC技术发展与应用实践(一文读懂AIGC)

【作者主页】Francek Chen 【专栏介绍】 ⌈ ⌈ ⌈人工智能与大模型应用 ⌋ ⌋ ⌋ 人工智能(AI)通过算法模拟人类智能,利用机器学习、深度学习等技术驱动医疗、金融等领域的智能化。大模型是千亿参数的深度神经网络(如ChatGPT),经海量数据训练后能完成文本生成、图像创作等复杂任务,显著提升效率,但面临算力消耗、数据偏见等挑战。当前正加速与教育、科研融合,未来需平衡技术创新与伦理风险,推动可持续发展。 文章目录 * 一、AIGC概述 * (一)什么是AIGC * (二)AIGC与大模型的关系 * (三)常见的AIGC应用场景 * (四)AIGC技术对行业发展的影响 * (五)AIGC技术对职业发展的影响 * (六)常见的AIGC大模型工具 * (七)AIGC大模型的提示词 * 二、文本类AIGC应用实践 * (一)案例1:与DeepSeek进行对话 * (二)案例2:与百度文心一言进行对话 * (三)案例3:使用讯飞智文生成PPT