本地部署运行大模型指南
随着近两年大语言模型 (LLM) 的快速发展,人们的关注度和使用频率越来越高。然而,大多数 LLM 由大型科技公司掌控,并以云服务的形式提供,这限制了开发者和研究人员对其进行探索和定制的自由度。虽然有很多开源模型出现了,但是本地复杂的系统环境让本地部署存在各种坑。
Ollama 项目的出现为这一现状带来了改变,它提供了一个开源的 LLM 解决方案,屏蔽了各种不同的运行环境,让用户可以便捷地在本地部署和使用强大的语言模型。在本地部署 LLM 后,可以借助本地模型进行各种折腾。并且由于运行在本地,不再需要科学上网,也可以保证数据的安全性。
Ollama 简介
Ollama 是一个开源项目,旨在提供易于使用的 LLM 本地部署方案。该项目提供了多种开源 LLM 模型的权重、推理代码和微调脚本等资源,让用户能够轻松地运行和定制 LLM。借助 Ollama,我们可以在本地轻松安装运行开源的 LLM 模型,尤其是对于使用 Mac 设备的玩家来说,使用 Ollama 下载运行 LLM 可以免去各种模型的环境配置(自己配置环境是各种泪呀,mac 环境中泪更多),并且可以直接在 Mac 的 CPU 中运行 LLM(虽然有点慢,但总归是能跑起来呀)。
Ollama 也集成了 OpenAI 接口的兼容,方便大家利用此前与 OpenAI 的集成任何包来与 Ollama 进行交互。官方还提供了类似 GitHub、DockerHub 似的模型托管 Hub,可理解为 ModelHub,用于存放大模型(有 llama 2,mistral,qwen 等模型,同时你也可以自定义模型上传到仓库里来给别人使用)。
硬件要求
运行大模型需要很高的机器配置,个人玩家的大多数都负担不起,毕竟大模型需要极高的 GPU 性能。
下面是 Ollama 对运行各种模型的 RAM 要求:
注意:您应该至少有 8 GB 可用 RAM 来运行 7B 型号,16 GB 来运行 13B 型号,32 GB 来运行 33B 型号。
我的 Mac 的配置是 16G RAM,intel CPU,为了运行的快一些,我在 Ollama 中选择了 7B 的 qwen 模型。毕竟本文的目的是介绍在本地运行 LLM 的流程和体验,不会注重性能,所以可以选择低一些参数的 LLM(Mac 跑 LLM 只能使用 CPU,是真跑不动呀)。
安装
请前往官网选择操作系统对应的版本下载安装即可。
当安装完成 ollama 之后,我们可以通过在控制台执行如下命令来判断 ollama 是否安装成功:
curl localhost:11434
控制台输出 Ollama is running 即表示安装成功。
同时,该项目还支持 Docker 部署,mac 中 cpu 执行的命令如下:
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
安装模型
当安装完成 ollama 之后,我们就可以在命令行中运行如下命令安装运行模型:
ollama run [model name]
其中 [model name] 就是你想运行的本地大模型的名称,如果你不知道应该选择哪个模型,可以通过 Ollama 官方模型库进行查看。
这里我们选择 qwen:7b 来进行演示。当运行下面的命令时,如果本地没有该模型,则会先下载模型再运行。首次运行启动可能略慢,考验电脑性能的时刻到了。
ollama run qwen:7b

模型运行之后,会默认进入到交互状态,你可以按下 Ctrl + D 退出交互,但此时模型并不会退出,仍旧可以正常通过 Api 接口交互。
使用客户端与 Ollama 交互
随着 LLM 的火热,产生了一大批与 LLM 交互的前端优秀开源项目,例如 open-webui、chatbox 等,这些项目现在也支持本地运行的 ollama api 的交互方式。
open-webui 以前称为 Ollama WebUI,看这个名字就知道渊源很深。下文我们就使用 open-webui 项目与后台启动的 ollama 模型进行交互体验。







