手机本地部署 AI 大模型指南：Llama 3 与 Phi-3 实战
引言
在当前的 AI 技术浪潮中，大语言模型（LLM）扮演着至关重要的角色。其背后的基础理论是 Scaling Law（扩展定律），即随着数据量、参数量和计算能力的提升，模型能力呈现非线性增长，展现出小模型无法比拟的'涌现能力'。然而，大型模型的体积庞大且依赖云端算力，这给隐私保护和响应延迟带来了挑战。
近年来，一个显著的趋势是模型体积的缩小与效率的提升。这使得在边缘设备（如个人电脑和智能手机）上进行私有化部署成为可能。本地部署不仅能增强用户信任感，避免敏感数据上传云端，还能在无网络环境下提供稳定的服务。本文将介绍适合私有化部署的最新开源大模型，并提供详细的部署指导，涵盖 Windows 电脑及 Android 手机的实操流程。
一、核心模型选型
1. Llama 3
Meta 近期发布了开源的 Llama 3 8B 和 Llama 3 70B 模型。官方宣称它们是同体量下性能最佳的开源模型之一。基准测试显示，Llama 3 400B+ 的实力与 Claude 和新版 GPT-4 Turbo 相当，在顶尖模型中占据重要地位。对于本地部署，8B 版本因其较小的显存占用而备受青睐。
2. Phi-3
Phi 系列是微软 AI 研究院推出的新开源小型语言模型，专为商业环境和资源受限场景设计。它包括 Mini、Small 和 Medium 三种规模。Phi-3-Mini 仅有 3.8B 参数，但在关键测试中表现出色，性能可与 Mixtral 8x7B 和 GPT-3.5 相媲美。该模型在扩展数据集后表现更佳，非常适合移动端推理。
- 技术报告：《一个能跑在手机上的大模型》https://arxiv.org/abs/2404.14219
小结
基准测试表明，Llama 3 8B 和 Phi-3 3.8B 在小规模参数下表现优异。虽然 MOE（混合专家）框架对大型模型至关重要，但在小参数模型中，优化重点转向了数据质量和数量。这两个模型代表了精简大型模型的未来方向，通过高质量训练数据弥补参数量的不足。
二、电脑端部署流程
Ollama 是目前部署大型语言模型最强大的工具之一，兼容 Llama 3、Mistral、Gemma 等多种模型。其部署过程简洁高效，支持一键安装和运行。
1. 安装 Ollama
以 Windows 为例，可从官网或 GitHub 获取安装包。访问 https://ollama.com 下载对应系统的安装包，双击运行即可。安装过程中无需复杂配置，系统会自动处理依赖项。
2. 运行模型
安装完成后，打开命令行终端（Terminal 或 PowerShell）。输入以下命令即可下载并启动模型：
ollama run llama3
首次运行需要下载模型文件，根据网络情况可能需要几分钟。下载完成后，即可开始对话。其他模型可通过修改命令调用，例如 ollama run phi3。
3. 高级功能
Ollama 支持多模态输入（图片）、自定义提示词调教等。开发者可以通过 API 接口将模型集成到自己的应用中。默认监听端口为 11434，可通过 curl http://localhost:11434/api/generate -d '{"model": "llama3", "prompt": "你好"}' 进行测试。
三、手机端部署流程
手机作为高频使用的移动设备，本地部署大模型具有极高的实用价值。当前许多闲置的高性能手机（如小米 8 及以上机型）足以应对轻量级模型的运行需求。
