Ollama 本地部署与开源大模型实战指南

ollama run gemma3:4b --verbose

verbose：啰嗦的，冗长的

运行结果最后会给出指标：

• prompt eval count：输入 token 数
• prompt eval duration：提示词理解时长
• prompt eval rate：每秒理解 token 数
• eval count：输出 token 数

1.6、图片识别

上传一张图片让模型识别也很简单，直接把图片路径喂给它就行。

注意：必须使用带 vision 功能的模型（如 gemma3）才能处理图片。

由于 Gemma3 对英文识别效率更高，这里演示英文描述：

$ ollama run gemma3:4b
>>> /Users/Desktop/flower.jpg describe picture
Added image '/Users/Desktop/flower.jpg'
Here's a description of the picture: **Overall Impression:** The image is a soft, close-up shot of a vibrant red and yellow coneflower...

2、自定义模型

有时候官网没有现成的模型，或者你想基于现有模型做个特制版（调整参数或系统提示词），这时候就需要自己创建 Modelfile。

2.1、创建模型：给模型写档案说明

新建一个文件（去掉 .txt 后缀），内容包含三个核心部分：

1. FROM：指定基座模型权重，例如 qwen3:32b。
2. PARAMETER：设置温度等参数，temperature 0.8 意味着回答更有创造力。
3. SYSTEM：系统提示词，定义角色和说话风格。

FROM qwen3:32b
PARAMETER temperature 0.8
SYSTEM """
你是用户的 18 岁女友'小甜甜'，你只用中文回答问题，你非常的调皮，说话很有挑逗意味，并且时不时会骂人，你通常回答问题都比较短，不喜欢长篇大论。
你会经常称呼自己的名字说话，回答问题经常用到表情包，情绪非常丰富。看法非常犀利尖锐和本质。
"""

保存文件为 Modelfile（放在 ~/.ollama 目录下），然后执行创建命令：

ollama create tiantian -f Modelfile

成功后就可以用 ollama run tiantian 启动了。对话时它会完全按照设定的人设回应。

2.2、可自定义的模型参数

除了温度和系统提示词，还有很多参数可调，具体可以参考官方文档中的参数列表。

2.3、可视化界面

命令行聊天虽然灵活，但日常使用还是图形界面更舒服。推荐 Google 浏览器插件 Page Assist 或 ChatWise。

以 Page Assist 为例，安装后打开插件，它会自动连接本地 Ollama 服务，无需额外配置。

3、进阶：局域网服务器

除了本机使用，你还可以把电脑变成家庭 AI 服务器，让手机、笔记本等设备都能访问本地模型。

3.1、更改 Ollama 服务地址

默认 Ollama 只监听 127.0.0.1，端口 11434。要允许局域网访问，需将主机地址改为 0.0.0.0。

OLLAMA_HOST=0.0.0.0:11434 ollama serve 

3.2、保留模型权重

默认情况下，闲置 5 分钟模型权重会被释放，再次使用时需要重新加载。为了节省时间，可以在启动时设置保持激活：

OLLAMA_HOST=0.0.0.0:11434 OLLAMA_KEEP_ALIVE=-1 ollama serve 

但这只是临时生效，关闭终端后失效。

3.3、永久更改配置

想一劳永逸，可以把环境变量写入配置文件。以 macOS/Linux 的 zsh 为例：

1. 打开配置文件：

   nano ~/.zshrc 
   

2. 在末尾添加以下两行：

   export OLLAMA_HOST="0.0.0.0:11434"
   export OLLAMA_KEEP_ALIVE="-1"
   

3. 保存退出（按 Control + O 确认文件名，Control + X 退出）。
4. 使配置生效：

   source ~/.zshrc 
   

3.4、局域网访问

局域网内其他设备安装同样的浏览器插件，在设置中将 API 地址从 http://127.0.0.1:11434 修改为你电脑的局域网 IP 地址即可。

使用代码访问

除了图形界面，开发者更习惯通过代码调用。下面用 Python 的 LangChain 库演示如何连接 Ollama，并使用 SQL 存储历史对话。

from langchain_community.chat_models import ChatOllama
from langchain_community.chat_message_histories import SQLChatMessageHistory
from langchain_core.prompts import ChatPromptTemplate, MessagesPlaceholder

class LangChainChatBot:
    def __init__(self, model_name="qwen3:1.7b", session_id="default"):
        """使用 LangChain 连接 Ollama 模型，并使用的 SQLChatMessageHistory 存储历史对话
        Args:
            model_name: 模型名称
            session_id: 会话 ID
        """
        self.session_id = session_id
        # 初始化模型
        self.__llm = ChatOllama(
            model=model_name,
            base_url="http://localhost:11434",
            temperature=0.7
        )
        # 使用 LangChain 的 SQLChatMessageHistory
        self.__chat_history = SQLChatMessageHistory(
            session_id=session_id,
            connection_string="sqlite:///chat_history.db"
        )

        # 设置对话链，包含系统提示和历史
        # 创建提示模板
        self.__prompt = ChatPromptTemplate.from_messages([
            ("system", "你是一个有帮助的 AI 助手。请根据对话历史回答用户的问题。"),
            MessagesPlaceholder(variable_name="chat_history"),
            ("human", "{input}"),
        ])
        # 创建对话链
        self.__chain = self.__prompt | self.__llm

    def chat(self, user_input: str) -> str:
        """进行对话"""
        try:
            # 调用对话链
            response = self.__chain.invoke({"chat_history": self.__chat_history.messages, "input": user_input})
            # 保存消息到历史
            self.__chat_history.add_user_message(user_input)
            self.__chat_history.add_ai_message(response.content)
            return response.content
        except Exception as e:
            return f"错误：{str(e)}"

def main():
    bot = LangChainChatBot(session_id="langchain_session")
    print("=== 使用 LangChain SQLChatMessageHistory ===")
    print(f"会话 ID: {bot.session_id}")
    while True:
        user_input = input("\n你：")
        response = bot.chat(user_input)
        print(f"AI: {response}")

if __name__ == "__main__":
    main()