异构数据迁移实战：DataX 与 DataX-Web 部署指南

执行命令：

cd bin
python datax.py ../job/job001.json

若日志显示成功完成，则说明引擎运行正常。

三、DataX-Web 部署流程

1. 源码准备

克隆管理端代码并初始化数据库：

git clone https://github.com/WeiYe-Jing/datax-web.git

创建 datax_web 数据库，并导入 bin/db/datax_web.sql 脚本。

2. 配置文件修改

Admin 端配置 (datax-admin/resources/application.yml)

重点调整服务端口、数据库连接及 DataX 路径。注意密码等敏感信息建议使用环境变量替代硬编码。

server:
  port: 8080
spring:
  datasource:
    username: root
    password: root
    url: jdbc:mysql://localhost:3306/datax_web?serverTimezone=Asia/Shanghai&useUnicode=true&characterEncoding=UTF-8
    driver-class-name: com.mysql.jdbc.Driver
mybatis-plus:
  global-config:
    db-config:
      id-type: AUTO
datax:
  job:
    accessToken: # 可选 Token
    i18n: en

Executor 端配置 (datax-executor/resources/application.yml)

需指定 Admin 地址、执行器端口及 DataX 脚本路径。

server:
  port: 8081
datax:
  job:
    admin:
      addresses: http://127.0.0.1:8080
    executor:
      appname: datax-executor
      port: 9999
      logpath: ./data/applogs/executor/jobhandler
      jsonpath: D:\temp\executor\json\ # Windows 示例路径
      pypath: D:\Develop\MigraTools\datax\bin\datax.py # 指向 DataX 启动脚本

注：若配置了 DATAX_HOME 环境变量，logpath 和 pypath 可简化。

3. 启动服务

依次启动两个 Spring Boot 应用：

1. datax-admin 下的 DataXAdminApplication
2. datax-executor 下的 DataXExecutorApplication

启动成功后，日志会输出前端访问地址（默认 http://127.0.0.1:8080/index.html），初始账号为 admin / 123456。

四、实战操作指南

1. 基础配置

• 项目管理：添加业务项目以便分类管理任务。
• 数据源配置：务必确保驱动版本与数据库一致。例如 MySQL 8.0 需替换默认的 5.1 驱动，否则可能出现连接超时。
• 执行器：创建执行器实例，用于接收调度指令。

2. 任务构建

1. 创建模板：选择 Reader/Writer 类型，填入表结构信息。
2. 生成 JSON：点击'构建'按钮，系统会自动生成同步脚本。
3. 任务管理：查看任务列表，手动触发一次执行验证效果。

五、常见问题排查

1. 限速报错

错误提示：单个 channel 的 bps 值不能为空。 解决：移除 speed.byte 配置，仅保留 channel 数量，让 DataX 自动适配带宽。

"setting":{"speed":{"channel":3}}

2. Windows 乱码

CMD 窗口中文本显示异常时，执行以下命令切换编码：

chcp 65001

3. Hadoop 缺失 (winutils)

若报 winutils.exe 缺失错误，需下载对应版本的 Hadoop 二进制包并配置环境变量。

• 下载：GitHub 搜索 steveloughran/winutils
• 设置：HADOOP_HOME 指向解压目录。

本文档基于实际生产环境整理，具体配置请根据网络环境和安全策略调整。