Llama 3.1 本地部署指南：Ollama、OpenWeb UI 与 Spring AI

部署 Llama 3.1

在终端中执行命令 ollama run llama3.1，即可下载 Llama3.1:8B 模型。模型下载完成后，会自动启动大模型，进入命令行交互模式，直接输入指令，就可以和模型进行对话了。

通过 Ollama，我们轻松的实现了本地大模型的部署和命令行式的交互，但是为了更好的使用大模型，以及对大模型进行管理和配置等方面的需求，就需要借助 Ollama 社区中一些强大的工具了，其中代表性的工具之一是 OpenWeb UI（之前称为 Ollama WebUI）。

OpenWeb UI

OpenWeb UI 是一个功能丰富且易于使用的大模型管理工具，它为用户提供了一个直观的图形化界面，以及广泛的功能和灵活的配置选项。

• 方便部署：使用 Docker 实现简单快捷的部署。
• 用户友好的页面：国际化多语言支持，提供多种主题样式，响应式设计，模型参数、Prompt 等便捷配置。
• 功能丰富：本地 RAG 支持，Web 浏览功能（可以在对话中访问网站），语音交互等。
• API 支持：支持 OpenAI API 和其他兼容 API。
• 多模型支持：支持同时管理和操作多个大语言模型。

部署方式

部署 OpenWeb UI 需要使用 Docker 环境，我本机的 Docker 版本是 24.0.2。OpenWeb UI 提供了集成 Ollama 的部署方式，因为 Ollama 已经下载到我本机上了，所以只需要执行以下命令即可完成部署。

docker run -d -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  --restart always \
  ghcr.io/open-webui/open-webui:main

容器启动成功后，可以访问 http://localhost:3000 端口，查看页面。首次登陆需要先填写邮箱和密码注册账号。登陆进来后，可以看到，OpenWeb UI 已经自动加载到了我们本地部署的 Llama3.1 模型。

高级配置

在模型编辑页面，我们可以修改模型的配置参数和 Prompt 等信息，并利用 Document 和 Tools 等工具来增强模型的能力和使用体验。

1. RAG 知识库：上传 PDF、TXT 等文档，开启上下文检索增强生成，让模型基于私有数据回答。
2. 系统提示词：预设 System Prompt，固定模型的角色设定（如'你是一个专业的 Java 程序员'）。
3. 温度设置：调整 Temperature 值控制输出的创造性，低值适合代码生成，高值适合创意写作。

Spring AI

Spring AI 是 Spring 生态里人工智能方向的应用框架，它提供了与各种大语言模型交互的高级抽象接口，极大地简化了 Java 人工智能应用程序的开发过程，让 Java 开发者也能够开发 AI 应用。

接下来将详细介绍 Spring AI 的使用流程，以及如何调用 Ollama 的 API 接口，与我们本地的 Llama 3.1 进行交互。

集成 Ollama

1. 创建项目

创建一个新的 Spring Boot 项目，版本要求 Spring Boot 3 + JDK 17。

2. 引入依赖

引入 Spring AI + Ollama 依赖。确保在 Maven 或 Gradle 中添加相应的 Starter。

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>3.3.1</version>
        <relativePath/>
    </parent>
    <groupId>com.example</groupId>
    <artifactId>ai-demo</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <properties>
        <java.version>17</java.version>
        <spring-ai.version>1.0.0-SNAPSHOT</spring-ai.version>
    </properties>
    <dependencies>
        <!-- ollama -->
        <dependency>
            <groupId>org.springframework.ai</groupId>
            <artifactId>spring-ai-ollama-spring-boot-starter</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
    </dependencies>
    <dependencyManagement>
        <dependencies>
            <dependency>
                <groupId>org.springframework.ai</groupId>
                <artifactId>spring-ai-bom</artifactId>
                <version>${spring-ai.version}</version>
                <type>pom</type>
                <scope>import</scope>
            </dependency>
        </dependencies>
    </dependencyManagement>
    <repositories>
        <repository>
            <id>spring-milestones</id>
            <name>Spring Milestones</name>
            <url>https://repo.spring.io/milestone</url>
            <snapshots><enabled>false</enabled></snapshots>
        </repository>
        <repository>
            <id>spring-snapshots</id>
            <name>Spring Snapshots</name>
            <url>https://repo.spring.io/snapshot</url>
            <releases><enabled>false</enabled></releases>
        </repository>
    </repositories>
</project>

3. 配置文件

编写 application.yaml 配置文件，添加 Ollama 的相关配置。

server:
  port: 8888
spring:
  application:
    name: Cleaner-AI
  ai:
    ollama:
      # ollama API Server 地址
      base-url: http://localhost:11434
      chat:
        enabled: true
        # 使用的模型名称
        model:
          name: llama3.1:8b
        options:
          temperature: 0.7
          top_p: 0.9

4. 编写控制器

编写接口，展示流式对话和普通对话的实现。

package com.example.ai.controller;

import jakarta.annotation.Resource;
import org.springframework.ai.chat.messages.UserMessage;
import org.springframework.ai.chat.model.ChatResponse;
import org.springframework.ai.chat.prompt.Prompt;
import org.springframework.ai.ollama.OllamaChatModel;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;
import reactor.core.publisher.Flux;

@RestController
@RequestMapping("/ollama")
public class OllamaController {

    @Resource
    private OllamaChatModel ollamaChatModel;

    /**
     * 流式对话
     *
     * @param message 用户指令
     * @return Flux 流式响应
     */
    @GetMapping("/streamChat")
    public Flux<ChatResponse> generateStream(@RequestParam("message") String message) {
        // 强制指定语言风格
        String promptText = "请使用中文简体回答：" + message;
        Prompt prompt = new Prompt(new UserMessage(promptText));
        return ollamaChatModel.stream(prompt);
    }

    /**
     * 普通对话
     * @param message   用户指令
     * @return 完整文本响应
     */
    @GetMapping("/chat")
    public String generate(@RequestParam("message") String message) {
        String promptText = "请使用中文简体回答：" + message;
        Prompt prompt = new Prompt(new UserMessage(promptText));
        ChatResponse chatResponse = ollamaChatModel.call(prompt);
        String content = chatResponse.getResult().getOutput().getContent();
        System.out.println("content = " + content);
        return content;
    }
}

5. 错误处理与优化

在实际生产环境中，建议增加异常捕获机制。例如，当 Ollama 服务不可用时，应返回友好的错误提示而非堆栈信息。此外，可以通过调整 JVM 参数优化内存使用，特别是当并发请求较多时。

// 示例：带超时控制的调用
try {
    ChatResponse response = ollamaChatModel.call(prompt);
    return response.getResult().getOutput().getContent();
} catch (Exception e) {
    log.error("AI 调用失败", e);
    throw new RuntimeException("AI 服务暂时不可用");
}

总结

本地部署的大模型可以脱离网络离线使用，但是要达到实际使用的要求，还需要对模型进行细致化的配置。当然部署模型的参数量越大，使用效果会更好，但也要考虑本机电脑的配置限制。对于学习了解大模型及其相关的技术知识而言，在条件允许的情况下，本机部署确实是一个不错的选择。

安全与性能建议

1. 网络安全：Ollama 默认监听 localhost，若需对外提供服务，务必配置防火墙规则并启用身份验证，防止未授权访问。
2. 资源监控：使用 htop 或 docker stats 监控 CPU 和内存占用，避免模型推理导致系统卡顿。
3. 量化模型：如果显存不足，可尝试下载量化版本（如 Q4_K_M），虽然精度略有下降，但能显著降低资源消耗。
4. 缓存策略：在 Spring AI 应用中，可对高频问题结果进行缓存，减少重复推理带来的延迟。

通过以上步骤，您可以构建一个稳定、高效的本地 AI 应用架构，为后续的业务集成打下坚实基础。