DataX-web 安装与使用指南

/opt/modules/datax-web-2.1.2/modules/datax-executor/conf/application.yml

vi /opt/modules/datax-web-2.1.2/modules/datax-executor/conf/application.yml
# 最后一行添加 DataX 执行命令
pypath: /opt/modules/datax/bin/datax.py

3.2.5 启动 DataX-web

sh /opt/modules/datax-web-2.1.2/bin/start-all.sh

4. DataX-web 登录使用

4.1 登录 DataX-web

**登录地址：**http://{你的 ip}:9527/index.html **用户名：**admin **密码：**123456

登录后报如下错误：Unknown column 't.user_id' in 'field list'。

这个错误表示 DataX Web 的数据库表结构不完整。具体问题是：job_info 表中缺少 user_id 字段。

我们可以手动添加缺失字段

-- 检查表结构
DESC job_info;
-- 添加缺失的 user_id 字段
ALTER TABLE job_info ADD COLUMN user_id VARCHAR(50) DEFAULT NULL COMMENT '用户 ID' AFTER update_time;
-- 验证字段是否添加成功
DESC job_info;

4.2 使用 DataX-web

新建项目

创建 DataX 任务模板，以后创建的任务使用相关的模板。

创建数据库链接

下面开始配置数据同步任务，可以批量配置，也可单独配置，本次以单独配置为例

点击 '构建' 生成任务 json，选择 '选择模版' 选择对应的调度模板绑定任务。

查看并执行任务

点击执行一次后便可手动执行，如需定时执行可将状态部分改成启动。

查看任务执行状况

查看任务报错信息

报错原因：

DataX 配置了总 bps 限速（1048576 字节/秒 = 1MB/秒），同时配置了 3 个 channel，但没有配置单个 channel 的 bps 值

修复：增大 byte，修改核心配置文件：/opt/modules/datax/conf/core.json

将 byte 值从默认的 1048576 调整为更高的正整数 5m（如 5242880），并确保 record 不为负数（如设为 1000 或删除 record 字段）。

{
  "transport": {
    "channel": {
      "class": "com.alibaba.datax.core.transport.channel.memory.MemoryChannel",
      "speed": {
        "byte": 5242880,
        "record": 1000
      },
      "flowControlInterval": 20,
      "capacity": 512,
      "byteCapacity": 67108864
    },
    "exchanger": {
      "class": "com.alibaba.datax.core.plugin.BufferedRecordExchanger",
      "bufferSize": 32
    }
  }
}

修改完配置再次执行。