异构数据迁移工具：DataX 与 DataX-Web

在 datax/bin 下打开终端执行：

python datax.py ../job/job001.json

三、DataX-Web 部署

1. 下载源码

git clone https://github.com/WeiYe-Jing/datax-web.git

同时准备 DataX 引擎包：https://github.com/alibaba/DataX/releases

2. 数据库初始化

创建 datax_web 数据库，并执行 bin/db/datax_web.sql 脚本。

3. 修改项目配置

1. 修改 admin 配置 (datax-admin/resources/application.yml) 重点调整 data.path 目录、数据库连接信息、服务端口等。

   server:
     port: 8080
   spring:
     datasource:
       username: root
       password: root
       url: jdbc:mysql://localhost:3306/datax_web?serverTimezone=Asia/Shanghai&useLegacyDatetimeCode=false&useSSL=false&nullNamePatternMatchesAll=true&useUnicode=true&characterEncoding=UTF-8
       driver-class-name: com.mysql.jdbc.Driver
   data:
     job:
       accessToken: # 可选
       i18n: en
       triggerpool:
         fast:
           max: 200
         slow:
           max: 100
       logretentiondays: 30
   

2. 修改 executor 配置 (datax-executor/resources/application.yml) 配置 Admin 地址、执行器端口、DataX 路径等。

   server:
     port: 8081
   logging:
     config: classpath:logback.xml
     path: ./data/applogs/executor/jobhandler
   data:
     job:
       admin:
         addresses: http://127.0.0.1:8080
       executor:
         appname: datax-executor
         ip: 
         port: 9999
         logpath: ./data/applogs/executor/jobhandler
         logretentiondays: 30
         jsonpath: D:\temp\executor\json\
         pypath: D:\Develop\MigraTools\datax\bin\datax.py
   

   • admin.addresses: DataX-Admin 部署地址。
   • executor.port: 执行器 Server 端口号，单机多实例需注意区分。
   • pypath: DataX 启动脚本地址。

4. 启动项目

1. 运行 datax-admin 模块下的 DataXAdminApplication。
2. 运行 datax-executor 模块下的 DataXExecutorApplication。 启动成功后，日志会输出前端页面地址及接口文档地址。

5. 登录管理台

访问默认地址：http://127.0.0.1:8080/index.html 默认管理员账号：admin / 123456

6. 实战配置

1. 项目管理：添加项目。
2. 配置数据源：注意驱动和数据库版本需保持一致。若 MySQL 为 8.0 版本，建议将 DataX-Admin 及 DataX 插件中的 MySQL 驱动更换为对应版本（如 8.0.33）。
3. 创建执行器：注册执行器分组。
4. 创建任务模板：选择数据源和表结构生成模板。
5. 构建任务：根据模板生成同步 JSON 配置。
6. 任务管理：执行任务并查看结果。

四、常见问题与报错

1. BPS 限速错误

在有总 bps 限速条件下，单个 channel 的 bps 值不能为空，也不能为非正数。 原配置："setting":{"speed":{"byte":1048576,"channel":3}} 修正：删除 speed.byte 配置，仅保留 channel 数。

"setting":{"speed":{"channel":3}}

2. Windows 乱码修复

CMD 窗口下输入指令切换编码：

chcp 65001

3. WinUtils 缺失

若报 winutils 缺失，请下载并配置环境变量。 下载地址：https://github.com/steveloughran/winutils/ 配置环境变量：HADOOP_HOME 指向解压后的路径。

五、参考资料

• DataX 官方仓库：https://github.com/alibaba/DataX
• DataX-Web 官方仓库：https://github.com/WeiYe-Jing/datax-web