本地运行 Google 开源 AI 大模型 Gemma 完整教程

这里我们以 Windows 系统为例来演示，首先去 Ollama 的官网或者 GitHub 页面下载最新的 Windows 版本安装包：

https://ollama.com/

https://github.com/ollama/ollama

下载安装包后，一路点击'下一步'安装即可。

完成安装后，点击桌面图标运行 Ollama，此时桌面右下角 Windows 系统托盘里有正在运行羊驼图标：

接下来我们进入 CMD 命令提示符，输入 ollama --version，当看到 ollama 版本号正确显示时，就已经完成安装了。

二、拉取并运行 Gemma 模型

这一步我们直接使用最简单的方法，使用 Ollama 来拉取 Gemma 的模型文件。请注意，由于文件服务器在国外，所以我们需要一些网络技巧，请自行研究。

以对电脑配置要求最低的 Gemma 2b 基础版模型为例，在命令提示符中，我们输入 ollama run gemma:2b 代码并回车，Ollama 会自动从模型库中拉取模型文件并进行运行。当模型加载后，会显示 success 的标识，此时我们就可以输入汉字与 Gemma:2b 进行对话了。

如果想要结束对话，我们可以在 Gemma 的信息输入框中输入 /bye 即可。

到此为止，Gemma 在我们本地已经部署成功了，这里顺带说些其他的事儿。

1. 首先 Ollama 虽然在 GitHub 页面中只列出了 Gemma 2b 和 7b 基础版模型的拉取代码，但实际上我们还是能通过它来拉取全量版模型的，代码分别如下：

ollama run gemma:2b-instruct-fp16
ollama run gemma:7b-instruct-fp16

2. 想要知道目前 Ollama 中已经拉取了哪些模型，可以用 ollama list 来实现：

Ollama 的其他命令可以参考下图：

三、使用 JAN AI 美化 UI 界面

通过 Ollama 在本地部署 Gemma 后，我们虽然能在命令提示符中与模型对话，但是这种方式未免也太过麻烦了，所以还是需要有一个类似 nextChat 之类的软件来美化一下 UI 界面，同时还可以实现更多功能。

本来 Ollama 官方推出了 open-webui 这个开源项目，不过目前该项目尚未推出 Windows 安装包，在 wsl 中使用 docker 安装的方式又有点儿麻烦，所以经过实现，这里还是选择 UI 非常好看的 JAN AI 来与 Ollama 进行链接吧。

首先我们要到 JAN 的官方网站下载 Windows 客户端，并直接安装：

https://jan.ai/

在 JAN 的官网上，有非常详细的操作手册，我们可以在其中找到关于如何链接 Ollama 的方法。

1. 启动 Ollama 服务器

首先我们要通过命令提示符启动 Ollama 服务器，并且加载运行我们要跑的 Gemma 版本，这里以 7b 全量版为例：

根据有关 OpenAI 兼容性的 Ollama 文档，Ollama 在运行时会提供类似 OpenAI 的 API 服务，我们可以使用网址 http://localhost:11434/v1/chat/completions 连接到 Ollama 服务器。

我们需要去 JAN 的安装地址，一般是 C:\Users\你的用户名\jan\engines 中找到 penai.json 文件，在其中修改为 Ollama 服务器的完整网址。

示例如下：

{
  "full_url": "http://localhost:11434/v1/chat/completions"
}

2. 模型配置

进入 jan 安装位置的 models 文件夹，创建一个在 Ollama 中运行的模型同名的文件夹，例如 gemma:7b-instruct-fp16。

然后在文件夹内创建一个 model.json 文件，在其中将 id 属性设置为 Ollama 模型名称，将格式属性设为 api，将引擎属性设为 openai，将状态属性设为 ready。

示例如下：

{
  "sources": [
    {
      "filename": "gemma:7b-instruct-fp16",
      "url": "https://ollama.com/library/gemma:7b-instruct-fp16"
    }
  ],
  "id": "gemma:7b-instruct-fp16",
  "object": "model",
  "name": "Ollama - gemma:7b-instruct-fp16",
  "version": "1.0",
  "description": "gemma:7b-instruct-fp16 by ollama",
  "format": "api",
  "settings": {},
  "parameters": {},
  "metadata": {
    "author": "Meta",
    "tags": ["General", "Big Context Length"]
  },
  "engine": "openai"
}

3. 启动模型

重新启动 Jan，在模型 HUB 中找到我们刚才新建的 gemma:7b-instruct-fp16，然后点击'USE'即可。

接下来我们就可以和 Gemma 进行正常对话了，比如问一问它，写年终总结报告要注意点啥事儿：

四、显卡选购小贴士

目前 AIGC 领域如火如荼，除了如本文所述，在本地部署的 AI 语言大模型之外，stable diffusion 等开源文生图的应用更是广泛，为我们的生活和创造提供了绝佳动力。

由于 AIGC 应用中，GPU 用来推理的效率要比 CPU 强的太多，所以我们需要一张性能强、显存大的显卡来更好的提高本地 AIGC 应用的运行效率，这是刚需，真的没法省。

而 NVIDIA 系列的显卡因为早早布局了 CUDA，所以在 AI 领域无疑拥有近乎无解的统治力，要玩 AIGC 的话还得选 N 卡为主，AMD 和 Intel 红蓝两家目前还需要追赶。RTX30 系 N 卡由于已经停产，并且在算力方面整体不如 RTX40 系显卡（毕竟 4070Ti 就要赶上前期间 3090 了），所以个人的建议还是买新不买旧，就从 RTX40 系显卡中捡显存大的型号选购得了。

这里为了方便大家对比，我整理出了当前 RTX40 系显卡型号的参数列表：

可以看到，首选肯定是 24GB 满配显存的 RTX4090 了，无论是利用 AIGC 干活儿还是游戏娱乐都是目前消费级显卡中的第一把好手，就是目前价格波动较大，让人有点难受。而 4090D 由于专门阉割了 AIGC 会用到的 CUDA 核心和 Tensor 核心数量，所以虽然市场价更低些，但是反而不如 4090 值得。

对于大部分玩家而言，退而求其次的选择则是 4080Super、4080、4070TiSuper、4060Ti-16G 这几张 16GB 显存的显卡。毕竟算力高低无非是影响 AIGC 干活儿效率而已，但是显存不够大，那有些本地大模型是真的跑不起来，连门槛都进不了，确实会耽误事儿。

其中 4060Ti-16G 作为最便宜的 16GB 显存 N 卡，还是值得着重看看的。

最后就是关于显卡品牌的选择了，目前华硕、微星、技嘉、七彩虹等一线显卡商中，技嘉因为之前大家都知道的宣发事故，导致这一两年各产品线的价格都相对要更低一些，仅从性价比方面来看其实是真挺香的。

其他的二、三线品牌就不一一列举了，如果不追求一线大厂的话，那大家可以凭着预算随意选购即可。