Shell / BashAI算法
基于 Ollama 在本地电脑部署和运行大语言模型指南
如何使用 Ollama 工具在本地个人电脑上部署和运行开源大语言模型。内容包括 Ollama 的功能特点、跨平台安装步骤、常用命令行操作，以及具体演示了 Llama3 和 Qwen 模型的下载与对话流程。此外，还补充了系统资源要求及通过 API 调用模型的方法，帮助用户快速构建本地 AI 环境。
如何使用 Ollama 工具在本地个人电脑上部署和运行开源大语言模型。内容包括 Ollama 的功能特点、跨平台安装步骤、常用命令行操作，以及具体演示了 Llama3 和 Qwen 模型的下载与对话流程。此外，还补充了系统资源要求及通过 API 调用模型的方法，帮助用户快速构建本地 AI 环境。
将大模型运行在自己的电脑上，意味着不再依赖云端或外部服务器。这不仅能够保护数据隐私，还能随时随地享受 AI 带来的便捷与智能。Ollama 是一个开源的大型语言模型服务工具，设计初衷是帮助用户快速、便捷地在本地运行大型语言模型。
Ollama 提供了一个强大的框架，使用户能够管理、部署和运行这些模型，从而在各种 NLP 任务中取得出色的效果。
通过简单的安装指令，用户可以在本地计算机上快速部署 Ollama，并执行命令以运行开源大型语言模型。
它提供了一个模型库，用户可以在这里下载和运行不同的大型语言模型，如 Llama 3、Mistral、Qwen 等。同时，支持用户根据特定需求定制和创建自己的模型。
采用了先进的优化技术，如自动图优化和高效的内存管理，确保即使是最复杂的模型也能高效运行。此外，支持动态图，这使得它在调试和实验新想法时更具灵活性。
支持 macOS、Windows 和 Linux 平台，甚至提供了 Docker 容器的支持，几乎覆盖了所有主流操作系统。
在开始部署之前，请确保您的硬件满足以下基本要求：
访问官网 https://ollama.com/download 下载 Windows 安装包。双击 .msi 文件，按照向导完成安装。安装完成后，Ollama 将在后台启动服务。
访问官网下载 .dmg 文件。拖拽应用图标到应用程序文件夹。首次运行时可能需要授予终端权限。
对于大多数 Linux 发行版，可以使用以下命令进行安装：
curl -fsSL https://ollama.com/install.sh | sh
安装完成后，打开终端输入以下命令验证是否安装成功：
ollama --version
如果输出版本号信息，则表示安装成功。
Ollama 提供了一系列便捷的命令来管理模型。
ollama list
ollama run qwen:7b
执行后进入交互模式，您可以直接输入问题与模型对话。
ollama rm llama3:latest
这将释放磁盘空间并移除指定的模型。
Llama 3 是由 Meta 发布的开源大模型。这里演示 8B 参数的部署过程：
ollama run llama3:8b
首次运行会自动下载模型权重。下载完成后，即可开始对话。
Qwen 是阿里云推出的一系列基于 Transformer 的大型语言模型。这里演示 7B 参数的部署过程：
ollama run qwen:7b
同样，首次运行会下载模型，之后即可进行本地对话。
除了命令行交互，Ollama 还提供了 HTTP API 接口，方便开发者集成到自己的应用中。
curl http://localhost:11434/api/generate -d '{
"model": "llama3",
"prompt": "为什么天空是蓝色的？"
}'
如果您熟悉 Python，可以使用 requests 库进行调用：
import requests
import json
def generate_response(model, prompt):
url = "http://localhost:11434/api/generate"
data = {
"model": model,
"prompt": prompt,
"stream": False
}
response = requests.post(url, json=data)
return response.json()['response']
if __name__ == "__main__":
result = generate_response("llama3", "请简述人工智能的定义")
print(result)
qwen:0.5b），或关闭其他占用内存的程序。ps aux | grep ollama。通过以上步骤，您已成功在本地构建了 AI 工厂环境。后续可根据实际需求探索更多模型及高级配置。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online