本地部署运行大模型指南
随着近两年大语言模型 (LLM) 的快速发展，人们的关注度和使用频率越来越高。然而，大多数 LLM 由大型科技公司掌控，并以云服务的形式提供，这限制了开发者和研究人员对其进行探索和定制的自由度。虽然有很多开源模型出现了，但是本地复杂的系统环境让本地部署存在各种坑。
Ollama 项目的出现为这一现状带来了改变，它提供了一个开源的 LLM 解决方案，屏蔽了各种不同的运行环境，让用户可以便捷地在本地部署和使用强大的语言模型。在本地部署 LLM 后，可以借助本地模型进行各种折腾。并且由于运行在本地，不再需要科学上网，也可以保证数据的安全性。
Ollama 简介
Ollama 是一个开源项目，旨在提供易于使用的 LLM 本地部署方案。该项目提供了多种开源 LLM 模型的权重、推理代码和微调脚本等资源，让用户能够轻松地运行和定制 LLM。借助 Ollama，我们可以在本地轻松安装运行开源的 LLM 模型，尤其是对于使用 Mac 设备的玩家来说，使用 Ollama 下载运行 LLM 可以免去各种模型的环境配置（自己配置环境是各种泪呀，mac 环境中泪更多），并且可以直接在 Mac 的 CPU 中运行 LLM（虽然有点慢，但总归是能跑起来呀）。
Ollama 也集成了 OpenAI 接口的兼容，方便大家利用此前与 OpenAI 的集成任何包来与 Ollama 进行交互。官方还提供了类似 GitHub、DockerHub 似的模型托管 Hub，可理解为 ModelHub，用于存放大模型（有 llama 2，mistral，qwen 等模型，同时你也可以自定义模型上传到仓库里来给别人使用）。
硬件要求
运行大模型需要很高的机器配置，个人玩家的大多数都负担不起，毕竟大模型需要极高的 GPU 性能。
下面是 Ollama 对运行各种模型的 RAM 要求：
注意：您应该至少有 8 GB 可用 RAM 来运行 7B 型号，16 GB 来运行 13B 型号，32 GB 来运行 33B 型号。
我的 Mac 的配置是 16G RAM，intel CPU，为了运行的快一些，我在 Ollama 中选择了 7B 的 qwen 模型。毕竟本文的目的是介绍在本地运行 LLM 的流程和体验，不会注重性能，所以可以选择低一些参数的 LLM（Mac 跑 LLM 只能使用 CPU，是真跑不动呀）。
安装
请前往官网选择操作系统对应的版本下载安装即可。
当安装完成 ollama 之后，我们可以通过在控制台执行如下命令来判断 ollama 是否安装成功：
curl localhost:11434
控制台输出 Ollama is running 即表示安装成功。
同时，该项目还支持 Docker 部署，mac 中 cpu 执行的命令如下：
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
安装模型
当安装完成 ollama 之后，我们就可以在命令行中运行如下命令安装运行模型：
ollama run [model name]
其中 [model name] 就是你想运行的本地大模型的名称，如果你不知道应该选择哪个模型，可以通过 Ollama 官方模型库进行查看。
这里我们选择 qwen:7b 来进行演示。当运行下面的命令时，如果本地没有该模型，则会先下载模型再运行。首次运行启动可能略慢，考验电脑性能的时刻到了。
ollama run qwen:7b
模型运行之后，会默认进入到交互状态，你可以按下 Ctrl + D 退出交互，但此时模型并不会退出，仍旧可以正常通过 Api 接口交互。
使用客户端与 Ollama 交互
随着 LLM 的火热，产生了一大批与 LLM 交互的前端优秀开源项目，例如 open-webui、chatbox 等，这些项目现在也支持本地运行的 ollama api 的交互方式。
open-webui 以前称为 Ollama WebUI，看这个名字就知道渊源很深。下文我们就使用 open-webui 项目与后台启动的 ollama 模型进行交互体验。
