Ollama 本地大模型部署与使用指南

保存文件至 ~/.ollama/Modelfile（无需后缀），然后在命令行创建：

ollama create tiantian -f Modelfile

运行新模型：

ollama run tiantian

2.2、可自定义的模型参数

支持调整温度、上下文窗口、TopP 等参数以优化生成效果。

2.3、可视化界面

推荐使用浏览器插件或客户端连接本地模型，例如 Page Assist 或 ChatWise。 安装插件后，配置连接本地 Ollama 服务即可使用图形化界面。

3、进阶：局域网服务器

将本机 Ollama 服务暴露给局域网内其他设备（手机、笔记本等）。

3.1、更改 Ollama 服务地址

默认监听 127.0.0.1，修改为 0.0.0.0 允许局域网访问：

OLLAMA_HOST=0.0.0.0:11434 ollama serve

3.2、保留模型权重

默认闲置 5 分钟会释放内存。为避免重复加载，设置 Keep Alive：

OLLAMA_HOST=0.0.0.0:11434 OLLAMA_KEEP_ALIVE=-1 ollama serve

3.3、永久更改配置

将环境变量写入配置文件以实现持久化：

1. 编辑 ~/.zshrc：

   nano ~/.zshrc
   

2. 添加以下内容：

   export OLLAMA_HOST="0.0.0.0:11434"
   export OLLAMA_KEEP_ALIVE="-1"
   

3. 保存退出（Ctrl+O, Enter, Ctrl+X），然后重新加载配置。

3.4、局域网访问

局域网内其他设备在客户端设置中填写本机的 IP 地址即可连接。

使用代码访问

可通过编程接口调用 Ollama，以下演示使用 LangChain 连接模型并使用 SQLChatMessageHistory 存储历史对话。

from langchain_community.chat_models import ChatOllama
from langchain_community.chat_message_histories import SQLChatMessageHistory
from langchain_core.prompts import ChatPromptTemplate, MessagesPlaceholder

class LangChainChatBot:
    def __init__(self, model_name="qwen3:1.7b", session_id="default"):
        """使用 LangChain 连接 Ollama 模型，并使用 SQLChatMessageHistory 存储历史对话
        Args:
            model_name: 模型名称
            session_id: 会话 ID
        """
        self.session_id = session_id
        # 初始化模型
        self.__llm = ChatOllama(
            model=model_name,
            base_url="http://localhost:11434",
            temperature=0.7
        )
        # 使用 LangChain 的 SQLChatMessageHistory
        self.__chat_history = SQLChatMessageHistory(
            session_id=session_id,
            connection_string="sqlite:///chat_history.db"
        )
        
        # 创建提示模板
        self.__prompt = ChatPromptTemplate.from_messages([
            ("system", "你是一个有帮助的 AI 助手。请根据对话历史回答用户的问题。"),
            MessagesPlaceholder(variable_name="chat_history"),
            ("human", "{input}")
        ])
        # 创建对话链
        self.__chain = self.__prompt | self.__llm

    def chat(self, user_input: str) -> str:
        """进行对话"""
        try:
            response = self.__chain.invoke({
                "chat_history": self.__chat_history.messages,
                "input": user_input
            })
            # 保存消息到历史
            self.__chat_history.add_user_message(user_input)
            self.__chat_history.add_ai_message(response.content)
            return response.content
        except Exception as e:
            return f"错误：{str(e)}"

def main():
    bot = LangChainChatBot(session_id="langchain_session")
    print("=== 使用 LangChain SQLChatMessageHistory ===")
    print(f"会话 ID: {bot.session_id}")
    while True:
        user_input = input("\n你：")
        response = bot.chat(user_input)
        print(f"AI: {response}")

if __name__ == "__main__":
    main()