DataX-web 安装与使用指南

3.2.2 在 Mysql 中创建存放 datax-web 任务信息的库表

创建数据库 dataxweb

-- 创建 dataxweb 数据库
create database dataxweb;

在 dataxweb 中执行 datax_web.sql 脚本

脚本位置为：/opt/modules/datax-web-2.1.2/bin/db/datax_web.sql

3.2.3 执行安装 datax-web 命令

# 执行安装命令
sh /opt/modules/datax-web-2.1.2/bin/install.sh

安装过程中需要下载一些插件，输入'Y'下载即可

安装过程中需要输入数据库配置，输入提前准备好的 Mysql 相关信息：ip port username password databaseName

3.2.4 DataX-web 中配置 datax 路径

编辑配置文件 /opt/modules/datax-web-2.1.2/modules/datax-executor/conf/application.yml

# vi 编辑文本 application.yml
vi /opt/modules/datax-web-2.1.2/modules/datax-executor/conf/application.yml
# 最后一行添加 DataX 执行命令
pypath: /opt/modules/datax/bin/datax.py

3.2.5 启动 DataX-web

# 启动 datax-web
sh /opt/modules/datax-web-2.1.2/bin/start-all.sh

4. DataX-web 登录使用

4.1 登录 DataX-web

**登录地址：**http://{你的 ip}:9527/index.html **用户名：**admin **密码：**123456

登录后报如下错误：Unknown column 't.user_id' in 'field list'。

这个错误表示 DataX Web 的数据库表结构不完整。具体问题是：job_info 表中缺少 user_id 字段。

我们可以手动添加缺失字段

-- 检查表结构
DESC job_info;
-- 添加缺失的 user_id 字段
ALTER TABLE job_info ADD COLUMN user_id VARCHAR(50) DEFAULT NULL COMMENT '用户 ID' AFTER update_time;
-- 验证字段是否添加成功
DESC job_info;

4.2 使用 DataX-web

新建项目

创建 DataX 任务模板，以后创建的任务使用相关的模板。

创建数据库链接

下面开始配置数据同步任务，可以批量配置，也可单独配置，本次以单独配置为例

点击'构建'生成任务 json，选择'选择模版'选择对应的调度模板绑定任务。

查看并执行任务

点击执行一次后便可手动执行，如需定时执行可将状态部分改成启动。

查看任务执行状况

查看任务报错信息

报错原因：

DataX 配置了总 bps 限速（1048576 字节/秒 = 1MB/秒），同时配置了 3 个 channel，但没有配置单个 channel 的 bps 值。

**修复：**增大 byte，修改核心配置文件：/opt/modules/datax/conf/core.json

将 byte 值从默认的 1048576 调整为更高的正整数 5m（如 5242880），并确保 record 不为负数（如设为 1000 或删除 record 字段）。

# 修改 byte record 参数
"transport": {
  "channel": {
    "class": "com.alibaba.datax.core.transport.channel.memory.MemoryChannel",
    "speed": {
      "byte": 5242880,
      "record": 1000
    },
    "flowControlInterval": 20,
    "capacity": 512,
    "byteCapacity": 67108864
  },
  "exchanger": {
    "class": "com.alibaba.datax.core.plugin.BufferedRecordExchanger",
    "bufferSize": 32
  }
}

修改完配置再次执行