Spring Boot 集成数据仓库与 ETL 工具实战

2. 应用配置

在 application.properties 中指定连接信息。注意端口和默认数据库路径需与实际 HiveServer2 一致：

server.port=8080
spring.datasource.url=jdbc:hive2://localhost:10000/default
spring.datasource.driver-class-name=org.apache.hive.jdbc.HiveDriver
spring.datasource.username=hive
spring.datasource.password=

3. 数据访问层实现

使用 JdbcTemplate 操作 Hive 表。这里以商品表为例，定义实体类并编写 Repository 接口：

public class Product {
    private Long id;
    private String productId;
    private String productName;
    private double price;
    private int sales;

    // 构造方法、Getter/Setter 省略...
    public Product(Long id, String productId, String productName, double price, int sales) {
        this.id = id;
        this.productId = productId;
        this.productName = productName;
        this.price = price;
        this.sales = sales;
    }
}

@Repository
public class ProductRepository {
    @Autowired
    private JdbcTemplate jdbcTemplate;

    public List<Product> getAllProducts() {
        String sql = "SELECT * FROM product";
        return jdbcTemplate.query(sql, (rs, rowNum) -> {
            Product product = new Product();
            product.setId(rs.getLong("id"));
            product.setProductId(rs.getString("product_id"));
            product.setProductName(rs.getString("product_name"));
            product.setPrice(rs.getDouble("price"));
            product.setSales(rs.getInt("sales"));
            return product;
        });
    }

    public void addProduct(Product product) {
        String sql = "INSERT INTO product (product_id, product_name, price, sales) VALUES (?, ?, ?, ?)";
        jdbcTemplate.update(sql, product.getProductId(), product.getProductName(), product.getPrice(), product.getSales());
    }

    // updateProduct 和 deleteProduct 逻辑类似，此处省略
}

配合 Service 层和 Controller 层暴露 REST API，即可完成基础 CRUD 操作。

集成 Apache Spark ETL 工具

对于更复杂的数据转换需求，Spark 是更好的选择。Spring Boot 可以嵌入 SparkSession 来运行 ETL 任务。

1. 依赖与配置

除了 Web 依赖，还需要 Spark Core 和 SQL 模块：

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.12</artifactId>
    <version>3.1.2</version>
</dependency>
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-sql_2.12</artifactId>
    <version>3.1.2</version>
</dependency>

配置文件设置 Spark 运行模式和应用名称：

spark.master=local[*]
spark.app.name=ETLExample

2. 编写 ETL 任务

创建一个组件类来封装 Spark 逻辑。这里演示读取 CSV 并进行过滤，最后写入 Hive：

@Component
public class ETLJob {
    @Value("${spark.master}")
    private String master;

    @Value("${spark.app.name}")
    private String appName;

    public void runETL() {
        SparkSession sparkSession = SparkSession.builder()
                .master(master)
                .appName(appName)
                .getOrCreate();

        // 读取源数据
        Dataset<Row> sourceData = sparkSession.read()
                .format("csv")
                .option("header", "true")
                .option("inferSchema", "true")
                .load("src/main/resources/source-data.csv");

        // 数据转换：筛选销量大于 100 的商品
        Dataset<Row> transformedData = sourceData.select(
                sourceData.col("id"),
                sourceData.col("product_id"),
                sourceData.col("product_name"),
                sourceData.col("price"),
                sourceData.col("sales")
        ).filter(sourceData.col("sales").gt(100));

        // 写入目标 Hive 表
        Properties connectionProperties = new Properties();
        connectionProperties.put("user", "hive");
        connectionProperties.put("password", "");
        
        transformedData.write().mode("overwrite")
                .jdbc("jdbc:hive2://localhost:10000/default", "transformed_product", connectionProperties);
        
        sparkSession.stop();
    }
}

3. 定时调度

利用 Spring 的 @Scheduled 注解可以轻松实现每日凌晨自动执行：

@Component
public class ETLScheduler {
    @Autowired
    private ETLJob etlJob;

    @Scheduled(cron = "0 0 0 * * ?") // 每天凌晨 0 点
    public void runETL() {
        etlJob.runETL();
    }

    public void runETLNow() {
        etlJob.runETL();
    }
}

启动类记得加上 @EnableScheduling 注解。通过 POST 请求 /api/etl/run 即可手动触发任务。

总结

将 Spring Boot 与数据仓库及 ETL 工具结合，能极大提升应用的数据处理能力。无论是通过 JDBC 直连 Hive 进行查询，还是利用 Spark 进行大规模数据清洗，关键在于合理配置依赖并管理好资源生命周期。实际开发中，根据数据量和实时性要求选择合适的方案，就能构建出稳健的数据架构。