SeaTunnel 2.3.11 + Web 1.0.3 Docker 部署与 Kafka 同步 Hive/ES 实战

SeaTunnel 服务端配置

Dockerfile

确保基础镜像包含 JDK 8，并设置好环境变量。

FROM eclipse-temurin:8-jdk-ubi9-minimal
WORKDIR /opt/seatunnel/
ENV SEATUNNEL_HOME=/opt/seatunnel
ENV PATH=$PATH:$SEATUNNEL_HOME/bin
EXPOSE 5801
CMD ["sh", "bin/seatunnel-cluster.sh", "-r", "master"]

Hazelcast 集群配置

SeaTunnel 引擎依赖 Hazelcast 进行分布式通信。需分别修改 Master 和 Worker 的配置文件。

hazelcast-master.yaml

hazelcast:
  cluster-name: seatunnel
  network:
    rest-api:
      enabled: false
    join:
      tcp-ip:
        enabled: true
        member-list:
          - seatunnel-master:5801
          - seatunnel-worker1:5802
          - seatunnel-worker2:5802
    port:
      auto-increment: false
      port: 5801
  properties:
    hazelcast.logging.type: log4j2
    hazelcast.operation.generic.thread.count: 50
    hazelcast.heartbeat.interval.seconds: 2

hazelcast-worker.yaml

hazelcast:
  cluster-name: seatunnel
  network:
    join:
      tcp-ip:
        enabled: true
        member-list:
          - seatunnel-master:5801
          - seatunnel-worker1:5802
          - seatunnel-worker2:5802
    port:
      auto-increment: false
      port: 5802
  properties:
    hazelcast.logging.type: log4j2

hazelcast-client.yaml (Web 端连接用)

hazelcast-client:
  cluster-name: seatunnel
  connection-strategy:
    connection-retry:
      cluster-connect-timeout-millis: 3000
  network:
    cluster-members:
      - seatunnel-master:5801

安装连接器插件

在 SeaTunnel 目录下运行安装脚本，确保 Source/Sink 组件下拉框有数据可选。

cd seatunnel/apache-seatunnel-2.3.11/
sh bin/install-plugin.sh

SeaTunnel Web 配置

application.yml

重点配置数据库连接和 JWT 密钥，避免启动后 Token 校验失败。

server:
  port: 8801
spring:
  main:
    allow-circular-references: true
  datasource:
    driver-class-name: com.mysql.cj.jdbc.Driver
    url: jdbc:mysql://mysql-seatunnel:3306/seatunnel?useSSL=false&useUnicode=true&characterEncoding=utf-8&allowMultiQueries=true&allowPublicKeyRetrieval=true
    username: root
    password: root123456
jwt:
  expireTime: 86400
  secretKey: a3f5c8d2e1b4098765432109abcdef1234567890abcdef
  algorithm: HS256

启动脚本修正

如果容器启动后立即退出，检查 seatunnel-backend-daemon.sh。默认脚本可能使用了后台模式导致日志无法捕获或进程异常退出。建议去掉 nohup 和末尾的 &，改为前台运行以便 Docker 监控。

$JAVA_HOME/bin/java $JAVA_OPTS -cp "$CLASSPATH" $SPRING_OPTS org.apache.seatunnel.app.SeatunnelApplication >> "${LOGDIR}/seatunnel.out" 2>&1
echo "seatunnel-web started"

插件映射配置

将服务端生成的 plugin-mapping.properties 复制到 Web 配置目录，确保组件识别一致。

cp seatunnel/apache-seatunnel-2.3.11/connectors/plugin-mapping.properties seatunnel-web/apache-seatunnel-web-1.0.3-bin/conf/

启动服务

使用 docker compose 一键拉起所有服务：

docker compose up -d --build

访问 Web UI 页面，默认账号密码为 admin/admin。

任务配置实战

1. 登录与语言设置

登录后进入设置界面，建议将界面语言调整为中文，操作更直观。

2. 配置数据源

在「数据源」菜单中依次添加 Kafka、Elasticsearch 和 Hive。

• Kafka: 填写 Broker 地址。
• Hive: 元数据库地址填 thrift://hive-metastore:9083。
• ES: 填写节点地址。

3. 创建虚拟表

进入「虚拟表」菜单，选择已配置的数据源，定义字段映射关系。这一步是为了让 SeaTunnel 能够识别目标表的 Schema。

4. 配置同步任务

这是核心步骤。新建同步任务，拖拽 Source、FieldMapper、Sink 组件。

• Source: 选择 Kafka 数据源，指定 Topic。
• FieldMapper: 点击「模型」按钮，自动匹配或手动调整字段类型。
• Sink: 选择 Hive 或 ES 数据源。

注意: 保存任务时需配置 job mode，否则可能报错 job env can't be empty, please change config。

5. 启动任务

配置完成后保存并启动任务，观察执行日志确认数据流转情况。

Hive 数据验证

任务执行后，可通过 Beeline 客户端验证数据是否写入成功。

# 进入 HiveServer2 容器
docker exec -it hive-server2 beeline -u jdbc:hive2://localhost:10000

# 创建测试表（Parquet 格式推荐）
CREATE TABLE IF NOT EXISTS default.test_user_data3 (
  user_id STRING,
  type STRING,
  content STRING
) STORED AS PARQUET;

# 查询数据
SELECT * FROM default.test_user_data3 LIMIT 10;

常见问题排查

1. Web 容器启动即退出

检查 seatunnel-backend-daemon.sh 是否去除了后台模式符号。同时查看 /opt/seatunnel-web/logs/seatunnel.out 日志。

2. 访问页面报错 Secret Key Null

错误提示 secret key byte array cannot be null or empty。请确认 application.yml 中的 jwt.secretKey 已配置且不为空。

3. Hive 地址解析异常

日志出现 Illegal character in hostname。这是因为容器内部 DNS 解析问题。需在 docker-compose.yml 的 seatunnel-master 和 seatunnel-web 中添加 extra_hosts 绑定 IP：

extra_hosts:
  - "hive-metastore:172.16.0.3"
  - "hive-metastore-db:172.16.0.2"

4. NoClassDefFoundError

同步报错缺少类。请确保 seatunnel/apache-seatunnel-2.3.11/lib/ 目录下存在 hive-exec, hive-metastore, libfb303 等依赖 jar 包。

5. 任务显示成功但无数据

检查 docker-compose.yml 中是否挂载了 hive-warehouse 卷。如果未挂载，数据可能写入容器临时层，重启后丢失或不可见。

volumes:
  - ./hive-warehouse:/opt/hive/data/warehouse

6. 查看任务执行位置

若需定位具体 Worker 节点，可查阅 Master 日志：

cat ./logs/master/seatunnel-engine-master.log | grep "will be executed on worker"