鸿蒙与Android双平台LLaMA.cpp部署指南(保姆级)

鸿蒙与Android双平台LLaMA.cpp部署指南(保姆级)

在鸿蒙(OpenHarmony)与 Android 上部署 LLaMA.cpp 模型推理全流程(超详细)

手把手完成模型转换 → 交叉编译 → 设备部署,支持 OpenHarmonyAndroid 双平台,面向 ARM64 真机。

📚目录

  1. 前言
  2. 环境准备
  3. 模型准备(GGUF)
  4. 鸿蒙交叉编译
  5. Android 交叉编译
  6. 推送至设备
  7. 运行推理
  8. 常见问题
  9. 结语

一、前言

把大模型跑在手机/鸿蒙板子上,只需 llama.cpp + 交叉编译 + 推送运行 三步。本文给出复制粘贴即可用的命令行。

二、环境准备

工具安装提示
cmakesudo apt install cmake
condaMiniconda
adb下载 platform-tools 并加入 PATH
NDK r25c下文提供直链
OpenHarmony SDK解压到 $HOME/ohos-sdk

推荐目录结构(后续命令全部基于此)

~/llama-deploy/ ├── llama.cpp/ # 源码 ├── models/ # GGUF 模型 │ ├── llama-7b-f16.gguf │ └── llama-7b-q4_0.gguf ├── build-ohos/ # 鸿蒙构建 ├─

Read more

大模型微调实战指南:手把手教你使用LLaMA Factory(2026最新版)

大模型微调实战指南:手把手教你使用LLaMA Factory(2026最新版)

简介 文章是一份关于使用LLaMA Factory进行大模型微调的实操指南,详细介绍了为什么选择LLaMA Factory、硬件软件配置、安装部署、启动方法、基座模型和训练数据准备、2025年微调关键更新以及常见问题排查。文章强调LLaMA Factory作为主流微调工具的优势在于功能全面、模型兼容性强和易用性高,适合新手快速上手。从环境搭建到启动测试仅需1-2小时,帮助读者快速实现垂直领域的模型微调。 作为AI工程师,掌握大模型微调是落地垂直领域应用的核心技能。毕竟通用大模型无法覆盖企业私有知识、行业专属场景,而微调能让模型快速适配特定需求。当前主流微调工具中,北京航空航天大学开源的LLaMA Factory凭借轻量化、高兼容性、功能全面成为首选,支持主流开源模型与多种微调技术,新手也能快速上手。 本文结合最新的硬件迭代与工具链更新,为大家梳理LLaMA Factory的最新实操流程,包括环境准备、硬件选型、安装部署、启动测试,全程干货无废话,跟着做就能学会微调! 一、为什么选LLaMA Factory? 大模型微调本质是在预训练模型基础上,用特定数据(如企业私有知识库、

Stable Diffusion WebUI 从安装到实战:原理、部署与问题全解

Stable Diffusion 原理、介绍及 WebUI 安装指南 一、Stable Diffusion 原理及介绍 Stable Diffusion 是一种基于潜在扩散模型(Latent Diffusion Model)的文本到图像生成人工智能模型,由 Stability AI 主导开发,于 2022 年发布。其核心原理是通过“扩散过程”的逆过程实现图像生成: 1. 扩散过程:从一张清晰图像开始,逐步添加高斯噪声,最终将图像转化为完全随机的噪声 2. 逆扩散过程:模型学习从纯噪声中逐步去除噪声,结合文本提示(Prompt)的语义信息,最终生成符合描述的清晰图像 该模型的优势在于: * 开源可访问性:允许研究者和开发者自由使用和修改 * 高质量生成:能生成具有细节和艺术感的图像 * 灵活性:支持文本生成图像、图像修复、风格迁移等多种任务 * 资源友好性:相比早期扩散模型,

企业级 LLM 实战:在受限环境中基于 Copilot API 构建 ReAct MCP Agent

企业级 LLM 实战:在受限环境中基于 Copilot API 构建 ReAct MCP Agent 在银行等金融 IT 环境中,LLM 应用落地往往面临着严苛的限制。最典型的一道坎是:我们只能使用公司内部提供的 LLM API(如 Copilot API),而这些 API 往往是不完整的。 本文将复盘一次真实的架构演进:当我们的基础模型不支持标准的 Function Calling (bind_tools) 时,如何通过 ReAct 模式 和 Model Context Protocol (MCP),手动构建一个强大的、支持工具调用的智能 Agent。 1. 交互全景图 (Architecture Overview) 在深入代码细节之前,让我们先通过一张时序图来俯瞰整个系统的请求流转过程。 MCP

这6个AI写作工具,我试了个遍!写网文哪个最顺手?

这6个AI写作工具,我试了个遍!写网文哪个最顺手?

一、为什么要折腾这些AI工具? 写小说年头不短了,最怕的不是写不好,而是写不出来。对着空白文档,灵感枯竭,更新死线迫在眉睫,脑袋里却一片浆糊。这种时候,要是能有个靠谱的帮手,拉我一把,那真是雪中送炭。 现在市面上各种“AI写作助手”眼花缭乱,宣传得天花乱坠。但说实话,真正懂我们写网文这套“爽点+设定+节奏”逻辑的,能有几个?光说不练假把式。我索性亲自下场,挑了国内外现在热度比较高的6个工具,实实在在地用网文的视角去试了试水,看看到底谁是真能帮上忙,谁只是花架子。 二、这次我试了哪些帮手? 这几个名字,你多半都耳熟: * 笔灵AI * ChatGPT * Claude (国外工具) * 文心一言 * 腾讯元宝 * DeepSeek 国内国外的都有,功能差异挺大,下面我挨个说说我的实际体验。 三、我是怎么试的? 评判标准得实在点。我主要从这5个方面看它们行不行: 1. 能不能写出网文那味儿?