如何快速安装和使用本地大模型 Ollama
Ollama 是什么?
近年来,人工智能技术发展迅猛,其中大型语言模型(LLM)的进步尤为引人注目。LLM 拥有海量的参数和强大的学习能力,能够执行各种复杂任务,例如生成文本、翻译语言、编写不同类型的创意内容等等。以往,想要体验 LLM,通常需要将模型部署到云端,这对于个人用户来说门槛较高,且成本不菲。现在,Ollama 的出现打破了这一限制。
Ollama 是一款开源工具,旨在将 LLM 的强大功能带到你的本地机器。通过 Ollama,可以轻松下载和运行各种 LLM 模型,而无需将数据上传到云端。
Ollama 有哪些优势?
- 本地部署,数据安全:Ollama 将 LLM 模型部署在你的本地机器上,无需将数据上传到云端,数据安全更有保障。
- 降低成本:与云端部署相比,使用 Ollama 可以显著降低 LLM 的使用成本。
- 离线使用:Ollama 支持离线使用,即使没有网络连接也能照常使用 LLM。
- 易于使用:Ollama 提供了易于使用的命令行界面和 API,即使是初学者也能快速上手。
Ollama 可以做什么?
Ollama 的应用场景非常广泛,以下是一些示例:
- 生成创意内容:你可以使用 Ollama 生成诗歌、代码、脚本、音乐作品、电子邮件、信件等创意内容。
- 翻译语言:你可以使用 Ollama 将文本从一种语言翻译成另一种语言。
- 问答系统:你可以构建一个问答系统,使用 Ollama 来回答用户的问题。
- 聊天机器人:你可以构建一个聊天机器人,使用 Ollama 来与用户进行对话。
Ollama 如何安装
方法一:命令行安装(推荐)
Ollama 的安装非常简单,只需执行以下命令即可,支持跨平台(MacOS、Linux、Windows):
curl -fsSL https://ollama.com/install.sh | sh
如果你已经安装了 Docker,也可以使用 Docker 方式运行:
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
安装完成后,你可以通过以下命令验证 Ollama 是否安装成功:
ollama --version
方法二:包管理器安装
部分 Linux 发行版或 macOS 环境可能支持 Homebrew 等包管理器直接安装:
# macOS
brew install ollama
# Arch Linux
yay -S ollama
Ollama 如何使用
安装完成后,Ollama 提供了一系列命令行指令供用户使用。
启动服务
注意:这个服务必须先启动,否则无法使用 Ollama 运行模型。通常在后台自动运行,也可手动启动:
ollama serve
启动后,终端会显示监听地址,通常是 127.0.0.1:11434。
下载模型
使用 pull 命令从注册表下载模型。例如下载 Llama 2 中文版本:
ollama pull llama2-chinese:13b


