下载llama factory

llama-factory是一个零代码大模型训练平台,可以快速搭建模型训练环境,并提供丰富的模型训练功能。可以选择前往github下载llama-factory项目的压缩包。但我下面是直接命令行下载的,但其实差不多,就是不用git clone https://gitee.com/hiyouga/LLaMA-Factory.git下载,自己手动下载到本地。



用框架自带的requirements.txt去下载安装相关依赖,完全匹配当前分支的依赖版本,避免 “手动指定版本出错”。

安装好后可以执行llamafactory-cli version来快速校验安装是否成功,如下界面就是安装成功了,然后执行运行webui.py的代码就可以得到下图界面





当你选择大模型时可以发现有很多版本,这些模型名称中的后缀(Chat/Math/Base)代表不同的模型定位和用途,针对 “微调大模型” 的需求,选择逻辑如下:





下面时出现的一些下载情况,走了很多弯路,为啥下面我一开始非要单独下载一些依赖,导致很多依赖的版本都互相冲突。所以下面内容可以不看。
在anaconda中创建

出现如下报错



当我下载安装好git就可以了,注意下载时,可以放在自己想放的位置,其实不同在本地cmd中执行也可,在虚拟环境下是一样的。





注意执行 下面的llamafactory核心依赖时,要在llamafactory的根目录下执行,不然会出下面如下报错

问题不是路径本身的问题,也不是 “虚拟环境存储路径” 的问题,而是你执行 pip install -e ".[torch,metrics]" 时,当前目录不是 LlamaFactory 的代码根目录—— 这条命令必须在包含 setup.py/pyproject.toml 的 LlamaFactory 文件夹内执行,否则 pip 找不到安装配置文件,自然会报错。

之前用 git clone 下载的 LlamaFactory 代码,完整路径应该是:D:\software\liulanqi\weitiao\llamafactory\warehouse\LLaMA-Factory(进入这个文件夹,能看到 setup.pywebui.pyrequirements.txt 等文件,就是正确目录。在对应目录下执行下面这条命令就可以

之前在 warehouse 目录执行 pip install torch 能成功,但执行 pip install -e ".[torch,metrics]" 失败,核心是这两条 pip 命令的逻辑完全不同—— 前者是 “安装公共库”,后者是 “安装当前目录下的本地项目”(LlamaFactory 这个开源项目),核心依赖当前目录的配置文件。


如上图所示还是出现了问题,这是安装numpy时触发的编译环境缺失错误,原因是 Windows 系统缺少 C/C++ 编译器(比如 Visual Studio 的编译工具),导致numpy无法从源码编译安装。



这样就可以顺利安装好依赖了。

如下命令安装可选依赖

执行第二条命令时出现如图报错



这个报错是依赖版本冲突:安装bitsandbytes时,pip 自动把你的torch版本升级到了2.9.1,但原来的torchaudiotorchvision是依赖torch==2.1.0+cu121的,新版本torch 2.9.1和它们不兼容。

执行完上面代码觉得可以了后,通过使用 llamafactory-cli version 来快速校验安装是否成功。出现如下图报错,transformers 库版本与 torch 版本不兼容导致的:因为transformers 新版本用到了 torch.utils._pytree.register_pytree_node,但你当前的 torch 2.1.0 中这个接口还没开放(或命名不同)。



但是明明没手动执行pip install transformers,但transformers却出现在环境里,核心原因是执行pip install -e ".[torch,metrics]"时,pip 会自动下载 / 安装 LlamaFactory 声明的依赖,transformers就是其中之一--no-deps如何阻断这个自动下载?不加--no-deps:pip 会 “先装依赖,再关联 LlamaFactory”,且优先装最新版依赖(导致 transformers 升级到 4.36+);加--no-deps:pip 会 “跳过所有依赖的安装 / 升级,只关联 LlamaFactory”,完全不碰 transformers、torch 等库。

先卸载

正确的依赖安装顺序

但安装第一步时发现如下报错,卸载再去安装又和别的依赖冲突了。



报错太多实在时一直出现版本安装问题,直接执行pip check会很清晰。



发现处理pip check,还有如下命令可以很好的查看依赖情况。



因为出现的依赖问题太多,后来我直接删除了虚拟环境,重新下载依赖





这是之前发现的一些问题。

发现下图问题,下载的 LlamaFactory 代码包不完整 / 分支不对,导致缺少 Web UI 核心文件(webui.py),可能用git clone --depth 1只克隆了最新版本,但如果仓库的默认分支没有 Web UI 文件,就会缺失,但其实明明webui.py文件就在src文件下。这个ai骗我。

考虑到上面出现的两个问题,所以下面打算清除之前下载的内容(下载的llamafactory框架,就是删除这个文件夹即可),重新来下载。

如下重新下载,注意可以切换到自己想要的路径下下载,可以在cmd中下载,也可以在虚拟环境中执行。



Read more

AI写作(十)发展趋势与展望(10/10)

AI写作(十)发展趋势与展望(10/10)

一、AI 写作的崛起之势 在当今科技飞速发展的时代,AI 写作如同一颗耀眼的新星,迅速崛起并在多个领域展现出强大的力量。 随着人工智能技术的不断进步,AI 写作在内容创作领域发挥着越来越重要的作用。据统计,目前已有众多企业开始采用 AI 写作技术,其生成的内容在新闻资讯、财经分析、教育培训等领域广泛应用。例如,在新闻资讯领域,AI 写作能够实现对热点事件的即时追踪与快速报道。通过自动化抓取、分析海量数据,结合预设的新闻模板与逻辑框架,内容创作者能够迅速生成高质量的新闻稿,极大地提升了新闻发布的时效性和覆盖面。 在教育培训领域,AI 写作也展现出巨大的潜力。AI 写作助手可以根据用户输入的主题和要求,自动生成文章的大纲和结构,帮助学生和教师快速了解文章的主要内容和逻辑关系,更好地进行后续的写作工作。同时,它还能进行语法和拼写检查、关键词提取和语义分析,提高文章的质量,为学生和教师提供更好的写作支持和服务。 在企业服务方面,AI 智能写作技术成为解决企业内容生产痛点的有效方法之一。它可以帮助企业实现自动化内容生产,提高文案质量和转化率。通过学习和模仿人类的写作风格和语言表达能力

新手避坑指南:使用Llama-Factory常见的十个错误及解决方案

新手避坑指南:使用 Llama-Factory 常见的十个错误及解决方案 在大模型时代,越来越多的研究者和开发者希望将预训练语言模型应用于垂直领域——比如客服问答、法律咨询或医疗辅助。然而,直接从零开始训练一个大模型既不现实也不经济。于是,微调(Fine-tuning) 成为最主流的方式。 但问题来了:传统微调需要写复杂的训练脚本、管理分布式环境、处理显存瓶颈……这对新手来说简直是“劝退三连”。直到 Llama-Factory 的出现。 这个开源项目像是一站式自助餐厅,把数据预处理、模型加载、LoRA/QLoRA 配置、训练监控、权重合并全都打包好了,甚至提供了可视化界面,点点鼠标就能启动训练。听起来很美好?没错,但它也有自己的“隐藏规则”——稍有不慎,就会遇到训练崩溃、显存溢出、权重无效等问题。 下面我们就来盘点一下,使用 Llama-Factory 时新手最容易踩的十个坑,并结合底层机制给出真正能落地的解决建议。 为什么你明明用了 LoRA 还是爆显存? 这是最常见的第一问:

极致压缩:Whisper.cpp 量化版本清单与 ggml 格式模型下载

Whisper.cpp 量化模型下载指南 Whisper.cpp 是 OpenAI Whisper 语音识别模型的高效 C++ 实现,支持量化技术来减小模型尺寸,实现“极致压缩”。量化通过降低模型参数的精度(如从 32 位浮点数到 4 位整数)来减少存储和计算需求,同时保持合理的准确性。ggml 格式是一种轻量级模型格式,专为资源受限设备优化。以下信息基于 Whisper.cpp 官方 GitHub 仓库(真实可靠),我将逐步引导您获取量化版本清单和下载链接。 1. 量化版本清单 Whisper.cpp 支持多种量化级别,每种对应不同的压缩率和精度权衡。以下是常见量化版本清单(基于最新官方数据): * q4_0:4 位量化,极致压缩,模型尺寸最小,适合内存受限设备(如嵌入式系统)。精度损失较高。

2025 嵌入式 AI IDE 全面对比:Trae、Copilot、Windsurf、Cursor 谁最值得个人开发者入手?

文章目录 * 2025 嵌入式 AI IDE 全面对比:Trae、Copilot、Windsurf、Cursor 谁最值得个人开发者入手? * 一、先给结论(个人开发者视角) * 二、2025 年 9 月最新价格与免费额度 * 三、横向体验对比(2025-11) * 1. 模型与响应 * 2. 项目理解力 * 3. 隐私与离线能力 * 四、怎么选?一句话总结 * 五、官方链接(清晰明了) * 六、结语:AI IDE 2025 的趋势 * 七、AI IDE 的底层工作原理:编辑器为什么突然变聪明了? * 1. 解析层:把你的项目拆得比你自己还清楚 * 2. 索引层: