Shell / BashAI算法
手机本地部署 AI 大模型指南：Llama 3 与 Phi-3 实战
本文探讨了在本地设备部署开源大模型的可行性与具体实践。内容对比了 Llama 3 与 Phi-3 两款轻量级开源模型的性能差异，详细阐述了基于 Ollama 工具在 Windows 电脑及 Android 手机（通过 Termux）上的部署流程，并分析了中文处理、代码生成及推理速度等实际体验。文章还涵盖了硬件要求、量化策略及性能优化建议，为开发者提供完整的本地 AI 落地指南。
本文探讨了在本地设备部署开源大模型的可行性与具体实践。内容对比了 Llama 3 与 Phi-3 两款轻量级开源模型的性能差异，详细阐述了基于 Ollama 工具在 Windows 电脑及 Android 手机（通过 Termux）上的部署流程，并分析了中文处理、代码生成及推理速度等实际体验。文章还涵盖了硬件要求、量化策略及性能优化建议，为开发者提供完整的本地 AI 落地指南。
在当前的 AI 技术浪潮中，大语言模型（LLM）扮演着至关重要的角色。其背后的基础理论是 Scaling Law（扩展定律），即随着数据量、参数量和计算能力的提升，模型能力呈现非线性增长，展现出小模型无法比拟的'涌现能力'。然而，大型模型的体积庞大且依赖云端算力，这给隐私保护和响应延迟带来了挑战。
近年来，一个显著的趋势是模型体积的缩小与效率的提升。这使得在边缘设备（如个人电脑和智能手机）上进行私有化部署成为可能。本地部署不仅能增强用户信任感，避免敏感数据上传云端，还能在无网络环境下提供稳定的服务。本文将介绍适合私有化部署的最新开源大模型，并提供详细的部署指导，涵盖 Windows 电脑及 Android 手机的实操流程。
Meta 近期发布了开源的 Llama 3 8B 和 Llama 3 70B 模型。官方宣称它们是同体量下性能最佳的开源模型之一。基准测试显示，Llama 3 400B+ 的实力与 Claude 和新版 GPT-4 Turbo 相当，在顶尖模型中占据重要地位。对于本地部署，8B 版本因其较小的显存占用而备受青睐。
Phi 系列是微软 AI 研究院推出的新开源小型语言模型，专为商业环境和资源受限场景设计。它包括 Mini、Small 和 Medium 三种规模。Phi-3-Mini 仅有 3.8B 参数，但在关键测试中表现出色，性能可与 Mixtral 8x7B 和 GPT-3.5 相媲美。该模型在扩展数据集后表现更佳，非常适合移动端推理。
基准测试表明，Llama 3 8B 和 Phi-3 3.8B 在小规模参数下表现优异。虽然 MOE（混合专家）框架对大型模型至关重要，但在小参数模型中，优化重点转向了数据质量和数量。这两个模型代表了精简大型模型的未来方向，通过高质量训练数据弥补参数量的不足。
Ollama 是目前部署大型语言模型最强大的工具之一，兼容 Llama 3、Mistral、Gemma 等多种模型。其部署过程简洁高效，支持一键安装和运行。
以 Windows 为例，可从官网或 GitHub 获取安装包。访问 https://ollama.com 下载对应系统的安装包，双击运行即可。安装过程中无需复杂配置，系统会自动处理依赖项。
安装完成后，打开命令行终端（Terminal 或 PowerShell）。输入以下命令即可下载并启动模型：
ollama run llama3
首次运行需要下载模型文件，根据网络情况可能需要几分钟。下载完成后，即可开始对话。其他模型可通过修改命令调用，例如 ollama run phi3。
Ollama 支持多模态输入（图片）、自定义提示词调教等。开发者可以通过 API 接口将模型集成到自己的应用中。默认监听端口为 11434，可通过 curl http://localhost:11434/api/generate -d '{"model": "llama3", "prompt": "你好"}' 进行测试。
手机作为高频使用的移动设备，本地部署大模型具有极高的实用价值。当前许多闲置的高性能手机（如小米 8 及以上机型）足以应对轻量级模型的运行需求。
Android 系统基于 Linux 内核，但原生环境缺乏完整的包管理器和开发工具。Termux 是一款出色的终端模拟器，能在 Android 设备上流畅运行众多 Linux 命令和应用程序。
利用 Termux 的 proot-distro 功能，可以便捷地安装 Ubuntu、Debian 或 Arch Linux 等系统。
# 更新源
pkg update && pkg upgrade
# 安装 proot-distro
pkg install proot-distro
# 安装 Debian 系统
proot-distro install debian
# 登录进入 Debian 环境
proot-distro login debian
进入 Debian 环境后，操作流程与电脑端类似，但需注意架构兼容性。
# 安装依赖
apt update && apt install curl unzip
# 安装 Ollama
curl -fsSL https://ollama.com/install.sh | sh
# 验证版本
ollama -v
# 后台开启服务
nohup ollama serve &
# 运行模型
ollama run phi3
注意事项：
termux-setup-storage 授权。在配备 GPU 的电脑上，模型响应通常非常流畅。而在手机上，受限于 CPU 算力，生成速度会有所下降。实测中，Phi-3 的反应速度明显优于 Llama 3，尽管后者参数量更大。这是因为 Phi-3 针对小参数进行了深度优化。
开源模型在中文任务上仍存在一定差距。面对生僻问题时，模型偶尔会切换至英文回答，或表达含糊。Llama 3 在中文理解上略胜一筹，若有兴趣可尝试社区微调的中文版模型（如 llama3-Chinese）。
为了获得更好的本地部署体验，建议关注以下优化点：
OLLAMA_NUM_THREADS，通常设置为物理核心数的一半可获得最佳吞吐量。虽然目前 AI 的实际应用仍面临成本和技术门槛的限制，但随着 Llama 3 和 Phi-3 等小模型的崭露头角，大型模型实用化的希望正在显现。小模型低廉的推理成本使其能够摆脱云服务的束缚，灵活应用于各种场景。
展望未来，随着模型压缩技术和专用 AI 芯片的发展，更多'小而美'的 AI 大模型将融入日常生活。本地部署定制化的 AI 不仅意味着技术的自由，更代表着数据主权和个人隐私的回归。开发者应积极掌握相关技术，探索垂直领域的落地可能性。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online