Ollama 本地部署与使用指南

如何在本地使用 Ollama 部署和运行开源大模型。内容包括下载安装、模型管理与命名规则、自定义模型参数及系统提示词、通过命令行或可视化插件交互、配置局域网服务器供多设备访问，以及使用 Python 和 LangChain 调用本地模型的代码示例。

山野来信发布于 2026/3/30更新于 2026/4/131 浏览

1. 快速体验

1.1 下载 Ollama

Ollama 官网：https://ollama.com/

文章配图

1.2 下载模型

Ollama 已经有很多开源的模型可以直接下载。带 thinking 标签的是带深度思考，vision 是具有多模态视觉功能，tools 是可以使用 MCP 工具。

文章配图

下载我们需要的模型，例如 gemma3。

文章配图

打开命令行，直接输入 ollama run <模型名> 就会先下载，下载完成后就可以跟模型聊天了。

ollama run gemma3

1.3 模型命名规则

这里可以看到模型有很多版本，模型版本的命名是规则的。比如说我们 ollama run gemma3 后面什么后缀都没有带的，那下载的都是默认版本。

每个模型都会有一个默认下载版本，那如果要更进一步我们自己去判断，就需要去看它后面这些后缀了，一般这个起名字的款式都是：模型名 + 参数量 + 量化精度。

参数量越大，它的性能越好，量化的精度越大，原则上也是要更好的，缺点呢则是更占显存。

文章配图

比如 gemma3-12b-it-q4_K_M 的意思就是：gemma 第 3 代_120 亿参数_指令微调版本_4-bit 量化_用的 K-quant 量化_中等规模量化。

1.4 更改模型下载地址（可选）

Ollama 默认的模型下载地址都是在本机系统盘的，所以我们需要模型的默认下载地址，把模型下在其他位置（比如外接硬盘）实现模型自由。

echo 'export OLLAMA_MODELS="/<文件夹路径>/models"' >> ~/.zshrc
source ~/.zshrc

1.5 基础使用

下载一些模型之后呢，我们再来学几条命令来管理这些模型。Ollama 的命令也都很好理解，基本就是。

相关免费在线工具

RSA密钥对生成器

生成新的随机RSA私钥和公钥pem证书。在线工具，RSA密钥对生成器在线工具，online

Mermaid 预览与可视化编辑

基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。在线工具，Mermaid 预览与可视化编辑在线工具，online

curl 转代码

解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。在线工具，curl 转代码在线工具，online

Base64 字符串编码/解码

将字符串编码和解码为其 Base64 格式表示形式即可。在线工具，Base64 字符串编码/解码在线工具，online

Base64 文件转换器

将字符串、文件或图像转换为其 Base64 表示形式。在线工具，Base64 文件转换器在线工具，online

Markdown 转 HTML

将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML 转 Markdown 互为补充。在线工具，Markdown 转 HTML在线工具，online

from langchain_community.chat_models import ChatOllama from langchain_community.chat_message_histories import SQLChatMessageHistory from langchain_core.prompts import ChatPromptTemplate, MessagesPlaceholder class LangChainChatBot: def __init__(self, model_name="qwen3:1.7b", session_id="default"): """ 使用 LangChain 连接 Ollama 模型，并使用的 SQLChatMessageHistory 存储历史对话 Args: model_name: 模型名称 session_id: 会话 ID """ self.session_id = session_id # 初始化模型 self.__llm = ChatOllama( model=model_name, base_url="http://localhost:11434", temperature=0.7 ) # 使用 LangChain 的 SQLChatMessageHistory self.__chat_history = SQLChatMessageHistory( session_id=session_id, connection_string="sqlite:///chat_history.db" ) """设置对话链，包含系统提示和历史""" # 创建提示模板 self.__prompt = ChatPromptTemplate.from_messages([ ("system", "你是一个有帮助的 AI 助手。请根据对话历史回答用户的问题。"), MessagesPlaceholder(variable_name="chat_history"), ("human", "{input}"), ]) # 创建对话链 self.__chain = self.__prompt | self.__llm def chat(self, user_input: str) -> str: """进行对话""" try: # 调用对话链 response = self.__chain.invoke({ "chat_history": self.__chat_history.messages, "input": user_input }) # 保存消息到历史 self.__chat_history.add_user_message(user_input) self.__chat_history.add_ai_message(response.content) return response.content except Exception as e: return f"错误：{str(e)}" def main(): bot = LangChainChatBot(session_id="langchain_session") print("=== 使用 LangChain SQLChatMessageHistory ===") print(f"会话 ID: {bot.session_id}") while True: user_input = input("\n你：") response = bot.chat(user_input) print(f"AI: {response}") if __name__ == "__main__": main()

Ollama 本地部署与使用指南

1. 快速体验

1.1 下载 Ollama

1.2 下载模型

1.3 模型命名规则

1.4 更改模型下载地址（可选）

1.5 基础使用

更多推荐文章

相关免费在线工具

1.6 图片识别

2. 自定义模型

2.1 创建模型：给模型写档案说明

2.2 可自定义的模型参数

2.3 可视化界面

3. 进阶：局域网服务器

3.1 更改 Ollama 服务地址

3.2 保留模型权重

3.3 永久更改

3.4 局域网访问

使用代码访问

Ollama 本地部署与使用指南

1. 快速体验

1.1 下载 Ollama

1.2 下载模型

1.3 模型命名规则

1.4 更改模型下载地址（可选）

1.5 基础使用

微信扫一扫，关注极客日志

更多推荐文章

相关免费在线工具

1.6 图片识别

2. 自定义模型

2.1 创建模型：给模型写档案说明

2.2 可自定义的模型参数

2.3 可视化界面

3. 进阶：局域网服务器

3.1 更改 Ollama 服务地址

3.2 保留模型权重

3.3 永久更改

3.4 局域网访问

使用代码访问