Spring Boot 整合 Apache Doris：实现海量数据实时 OLAP 分析实战

🌈 颜色含义：红色系 (#ff7043)：前端交互层蓝色系 (#29b6f6)：Spring Boot 微服务橙黄 (#ffa726)：Kafka 消息队列绿色系 (#66bb6a)：Doris 分析引擎天蓝/深青：内部组件细化紫色 (#ab47bc)：可视化展示终端

三、环境准备与项目搭建

3.1 启动 Doris 集群（推荐 Docker Compose）

# docker-compose.yml
version: '3'
services:
  fe:
    image: apache/doris:fe-2.0.3
    ports:
      - "9030:9030" # MySQL 协议连接
      - "8030:8030" # RPC
    environment:
      - FE_CONFIG=meta_dir=/opt/doris/fe/meta
    volumes:
      - ./doris/fe:/opt/doris/fe
  be:
    image: apache/doris:be-2.0.3
    depends_on:
      - fe
    ports:
      - "9060:9060"
    environment:
      - BE_CONFIG=storage_root_path=/opt/doris/be/storage
    volumes:
      - ./doris/be:/opt/doris/be

启动命令：

docker-compose up -d

⚠️ 注意：首次启动需在 FE 初始化数据库和用户。

3.2 创建 Spring Boot 工程（Maven）

<dependencies>
  <dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-web</artifactId>
  </dependency>
  <dependency>
    <groupId>org.springframework.kafka</groupId>
    <artifactId>spring-kafka</artifactId>
  </dependency>
  <dependency>
    <groupId>mysql</groupId>
    <artifactId>mysql-connector-java</artifactId>
    <scope>runtime</scope>
  </dependency>
  <dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-jdbc</artifactId>
  </dependency>
</dependencies>

3.3 application.yml 配置文件

server:
  port: 8080
spring:
  kafka:
    bootstrap-servers: localhost:9092
    producer:
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      value-serializer: org.springframework.kafka.support.serializer.JsonSerializer
  datasource:
    url: jdbc:mysql://localhost:9030/demo_db?useSSL=false&allowPublicKeyRetrieval=true
    username: root
    password: 
    driver-class-name: com.mysql.cj.jdbc.Driver

四、建表语句与数据模型设计

4.1 在 Doris 中创建订单宽表

CREATE DATABASE IF NOT EXISTS demo_db;
USE demo_db;
CREATE TABLE IF NOT EXISTS order_wide (
  order_id BIGINT NOT NULL COMMENT "订单 ID",
  user_id BIGINT NOT NULL,
  product_name VARCHAR(255) NOT NULL,
  category VARCHAR(100),
  price DECIMAL(10,2) NOT NULL,
  quantity INT NOT NULL,
  total_amount AS price * quantity STORED COMMENT "衍生字段",
  province VARCHAR(50),
  city VARCHAR(50),
  create_time DATETIME NOT NULL
) ENGINE = OLAP DUPLICATE KEY(order_id)
PARTITION BY RANGE(create_time)(
  PARTITION p202401 VALUES LESS THAN ("2024-02-01"),
  PARTITION p202402 VALUES LESS THAN ("2024-03-01")
) DISTRIBUTED BY HASH(order_id) BUCKETS 10 PROPERTIES("replication_num"="1","enable_persistent_index"="true");

五、Spring Boot 写入数据到 Kafka

5.1 定义实体类

public class OrderEvent {
  private Long orderId;
  private Long userId;
  private String productName;
  private String category;
  private BigDecimal price;
  private Integer quantity;
  private String province;
  private String city;
  // 构造函数、getter/setter 略...
}

5.2 控制器接收请求

@RestController
@RequestMapping("/api/orders")
public class OrderController {
  @Autowired
  private KafkaTemplate<String, OrderEvent> kafkaTemplate;
  
  @PostMapping
  public ResponseEntity<String> create(@RequestBody OrderEvent event) {
    event.setCreateTime(LocalDateTime.now());
    kafkaTemplate.send("topic_doris_orders", event);
    return ResponseEntity.ok("Order sent to Kafka");
  }
}

六、Doris 配置 Routine Load 实现自动导入

CREATE ROUTINE LOAD demo_db.order_load_job ON order_wide
COLUMNS TERMINATED BY ",",
COLUMNS(order_id, user_id, product_name, category, price, quantity, province, city, create_time),
WHERE create_time IS NOT NULL
PROPERTIES ("desired_concurrent_number"="3","max_batch_interval"="15","max_error_number"="1000","strict_mode"="false")
FROM KAFKA ("kafka_broker_list"="localhost:9092","kafka_topic"="topic_doris_orders","kafka_partitions"="0,1,2","property.kafka_default_offsets"="OFFSET_BEGINNING");

✅ 成功后可通过 SHOW ROUTINE LOAD 查看状态。

七、查询分析：Spring Boot 调用 Doris 执行 OLAP 查询

@Service
public class ReportService {
  @Autowired
  private JdbcTemplate jdbcTemplate;
  
  public List<Map<String, Object>> getRevenueByCategory() {
    String sql = """
      SELECT category, SUM(total_amount) AS revenue FROM order_wide WHERE create_time >= ? GROUP BY category ORDER BY revenue DESC
      """;
    return jdbcTemplate.queryForList(sql, LocalDateTime.now().minusDays(7));
  }
  
  public long getTotalOrders() {
    return jdbcTemplate.queryForObject("SELECT COUNT(*) FROM order_wide", Long.class);
  }
}

⚠️ 生产建议：高频查询使用缓存（Redis）或物化视图加速。

八、性能优化策略（图 3：优化路径 PlantUML）

@startuml
skinparam backgroundColor #FEFEFE
skinparam sequenceArrowThickness 2
skinparam sequenceMessageAlign center
actor Developer as dev
database "MySQL Source" as mysql #lightblue
rectangle "Flink CDC" as flink #orange
queue "Kafka" as kafka #yellow
cloud "Doris" as doris #green
component "BI Tool" as bi #purple
dev -> mysql : 启用 Binlog
mysql -> flink : 实时捕获变更
flink -> kafka : 输出 JSON
kafka -> doris : Routine Load
doris -> bi : 提供 API 查询
bi -> dev : 展示报表
note right of doris <<优化点>>
- 物化视图
- 分区剪枝
- 前缀索引
end note
@enduml

📌 此图为高级优化路径，适用于从 MySQL 实时同步至 Doris 的场景。

九、监控与可观测性（图 4：ASCII 架构 + 颜色标注）

┌─────────────────────────────────────────────────────┐
│ Grafana 监控大屏 │
│ ┌────────────┐ ┌────────────┐ ┌────────────┐ │
│ │ QPS 曲线 │ │ 导入延迟 │ │ 磁盘使用率 │ │
│ │ ████░░░ │ │ ██░░░░░ │ │ ██████░░ │ │
│ └────────────┘ └────────────┘ └────────────┘ │
│ └────────────┬───────────────────────────────┬────────┘ │
│ │ ▼ ▼ ┌─────────────────┐ ┌────────────────────┐ │
│ │ Prometheus │◄─────────┤ Doris │ │
│ │ (指标采集) │ │ [FE]:9030, [BE]:* │
│ └─────────────────┘ └────────────────────┘ ▲ ▲ │
│ └──────────────┬────────────────┘ ▼ ┌────────────────────┐ │
│ │ Spring Boot │ │ /metrics 暴露端点 │ └────────────────────┘ │
└─────────────────────────────────────────────────────┘

🎨 ASCII 图颜色模拟：红色边框：监控面板蓝色块：Prometheus 数据采集绿色背景：Doris 集群黄色图表：趋势可视化（用字符模拟）

十、常见问题与解决方案

十一、总结

本文详细介绍了 Spring Boot 整合 Apache Doris 的全流程实践，涵盖：

✅ 架构设计
✅ 环境部署
✅ 数据建模
✅ 实时写入（Kafka + Routine Load）
✅ OLAP 查询
✅ 性能优化
✅ 可视化监控

并通过 Mermaid、PlantUML、ASCII 图形 提供了多张彩色原理图，帮助开发者快速掌握系统交互逻辑。

💡 建议进阶方向：结合 Flink CDC 实现 MySQL → Doris 实时入湖使用 Doris Manager 或 DevOps 脚本自动化运维引入 Kylin/Doris Bridge 支持多维分析

十二、参考资料

1. Apache Doris 官网
2. Spring for Apache Kafka
3. Mermaid Live Editor: https://mermaid.live
4. PlantUML Server: http://www.plantuml.com/plantuml