DataX 二进制与源码部署及 DataX-Web 可视化平台搭建

同样的，通过 DataX 提供的自测脚本，通过 python3 命令测试一下能不能正常启动一个同步任务。

虽然 python3 的语法变更，但是也向下兼容，同样可以使用 python2 执行。

三、DataX 动态传参

DataX 同步数据的时候需要使用到自己设置的配置文件，其中可以定义同步的方案，通常为 json 的格式。在执行同步方案的时候，json 文件中的 channel、password、username 等等都是静态的参数数据，有些场景下需要有一些动态的数据。

例如：将 MySQL 的数据同步到 HDFS，多次同步的时候只是表的名字和字段不同。如果在 json 文件写了 where 条件，比如 where date='2025-07-01'，那么是进行了增量同步，但之后的每一天都需要修改这个 where 条件，非常的不智能。因此就需要使用到动态传参，让增量同步的 where 条件变的智能，自动进行调整。

所谓的动态传参，就是在 json 的同步方案中，使用类似变量的方式来定义一些可以改变的参数。在执行同步方案的时候，可以指定这些参数具体的值。

3.1 动态传参的案例

在使用到同步方案的时候，可以使用 -D 来指定具体的参数的值。例如在上述的 json 中，我们设置了一个参数 TIMES，在使用的时候，可以指定 TIMES 的值，来动态的设置 sliceRecordCount 的值。

四、并发设置

在 DataX 的处理流程中，Job 会被划分成为若干个 Task 并发执行，被不同的 TaskGroup 管理。在每一个 Task 的内部，都由 reader -> channel -> writer 的结构组成，其中 channel 的数量决定了并发度。那么 channel 的数量是怎么指定的？

• 直接指定 channel 数量
• 通过 Bps 计算 channel 数量
• 通过 tps 计算 channel 数量

下面对三种计算 channel 数量的方式进行一一介绍：

4.1 直接指定 channel 数量

在同步方案的 json 文件中，我们可以设置 job.setting.speed.channel 来设置 channel 的数量。这是最直接的方式。在这种配置下，channel 的 Bps 为默认的 1MBps，即每秒传输 1MB 的数据。

在 json 文件中，指定 channel 数量的截图如下。

DataX 中默认一个 TaskGroup(任务组) 的并发数量为 5，也就是 channel，相关参数的定义在 conf 目录下的 core.json 文件中。可以看到如下分配了 10 个并发，每个并发都由 reader -> channel -> writer 的结构组成，10 个 task 分成了 2 个 TaskGroup（taskGroupId=[0]、taskGroupId=[1]），然后不同的 TaskGroup 下通过 task 执行（taskGroup[0] taskId[5]、taskGroup[1] taskId[0]…）。

用建筑工地比喻这个场景，整个工程（Job）：要搬 10 堆砖（10 个任务），有 10 个工人（10 个通道）。但工头决定：工地 A（任务组 0）：派 5 个工人，负责搬砖堆 1-5；工地 B（任务组 1）：派 5 个工人，负责搬砖堆 6-10。两个工地同时开工，互不干扰！

阶段 1：任务切分 阶段 2：任务组调度（关键变化！） 阶段 3：任务执行

4.2 通过 Bps 计算 channel 数量

Bps（Byte per second）是一种非常常见的数据传输速率的表示，在 DataX 中，可以通过参数设置来限制总 Job 的 Bps 以及单个 channel 的 Bps，来达到限速和 channel 数量计算的效果。

• Job Bps：对一个 Job 进行整体的限速，可以通过 job.setting.speed.byte 进行设置（单位字节）。
• channel Bps：对单个 channel 的限速，可以通过 core.transport.channel.speed.byte 进行设置（单位字节）。
• 和上面的 Job Bps 必须同时设置。

在 json 文件中，指定 Job Bps 的截图如下。 在 json 文件中，指定 channel Bps 的截图如下，需要注意 core 和 job 是平级参数。

DataX 中默认一个 TaskGroup(任务组) 的并发数量为 5，也就是 channel，相关参数的定义在 conf 目录下的 core.json 文件中。根据计算公式（channel=500/50）看到如下分配了 10 个并发，每个并发都由 reader -> channel -> writer 的结构组成，10 个 task 分成了 2 个 TaskGroup（taskGroupId=[0]、taskGroupId=[1]），然后不同的 TaskGroup 下通过 task 执行（taskGroup[0] taskId[2]、taskGroup[1] taskId[6]…）。

4.3 通过 tps 计算 channel 数量

tps（transcation per second）是一种很常见的数据传输速率的表示，在 DataX 中，可以通过参数设置来限制总 Job 的 tps 以及单个 channel 的 tps，来达到限速和 channel 数量计算的效果。

• Job tps：对一个 Job 进行整体的限速，可以通过 job.setting.speed.record 进行设置（单位每秒传输 N 条数据）。
• channel tps：对单个 channel 的限速，可以通过 core.transport.channel.speed.record 进行设置（单位每秒传输 N 条数据）。
• 和上面的 Job tps 必须同时设置。

在 json 文件中，指定 Job tps 的截图如下。 在 json 文件中，指定 channel tps 的截图如下，需要注意 core 和 job 是平级参数。

DataX 中默认一个 TaskGroup(任务组) 的并发数量为 5，也就是 channel，相关参数的定义在 conf 目录下的 core.json 文件中。根据计算公式（channel=500/100）看到如下分配了 5 个并发，每个并发都由 reader -> channel -> writer 的结构组成，5 个 task 分成了 1 个 TaskGroup（taskGroupId=[0]），然后不同的 TaskGroup 下通过 task 执行（taskGroup[0] taskId[0]、taskGroup[0] taskId[1]…）。

4.4 优先级说明

如果同时配置了 Bps 和 tps 限制，以小的为准。只有在 Bps 和 tps 都没有配置的时候，才会以 channel 数量配置为准。

在 json 文件中，同时配置了直接指定 channel 数量、通过 Bps 计算 channel 数量、通过 tps 计算 channel 数量这三种方式。

DataX 中默认一个 TaskGroup(任务组) 的并发数量为 5，也就是 channel，相关参数的定义在 conf 目录下的 core.json 文件中。根据优先级并发将采用'通过 tps 计算 channel 数量'，原因参考上面的优先级。根据计算公式（channel=500/100）看到如下分配了 5 个并发，每个并发都由 reader -> channel -> writer 的结构组成，5 个 task 分成了 1 个 TaskGroup（taskGroupId=[0]），然后不同的 TaskGroup 下通过 task 执行（taskGroup[0] taskId[2]、taskGroup[0] taskId[1]…）。

五、二进制、源码方式部署 DataX-Web

环境准备

• MySQL (5.5+) 必选：对应客户端可以选装，Linux 服务上若安装 mysql 的客户端可以通过部署脚本快速初始化数据库
• JDK (1.8.0_xxx) 必选
• Maven (3.6.1+) 必选
• DataX 必选
• Python (2.x) 必选：主要用于调度执行底层 DataX 的启动脚本，默认的方式是以 Java 子进程方式执行 DataX，用户可以选择以 Python 方式来做自定义的改造（支持 Python3 需要修改替换 datax/bin 下面的三个 python 文件，替换文件在 doc/datax-web/datax-python3 下）

5.1 二进制方式安装

1. 进入 GitHub 官网的 DataX-Web 主页：https://github.com/WeiYe-Jing/datax-web。下拉到'Quick Start'部分，点击'一键部署'，然后就进入到了 DataX-Web 的安装部署文档界面。下载官方提供的版本 tar 版本包。
2. 在安装部署前先部署 MySQL 数据库。datax-web 需要将一些元数据信息保存到数据库。MySQL 的安装部署可以自行安装哦，这里就不写部署步骤了。
3. 登录到 Linux 服务器，解压 Data-Web 包，和 datax 部署在一个目录下。 /data/DataX 是 datax 软件的安装目录，将 Data-Web 部署和 datax 在一个目录下。
4. 执行一键安装脚本。 进入解压后的目录，找到 bin 目录下面的 install.sh 文件，进行交互式安装，则直接执行。 如果你的服务上安装有 mysql 命令，在执行安装脚本的过程中则会出现以下提醒。按照提示输入数据库地址，端口号，用户名，密码以及数据库名称；并且 datax-web 需要将一些元数据信息保存到数据库中，按照提示执行 datax_web.sql 数据库初始化脚本。 注意：如上是交互式安装，在交互模式下，对各个模块的 package 压缩包的解压以及 configure 配置脚本的调用，都会请求用户确认，可根据提示查看是否安装成功，如果没有安装成功，可以重复尝试；如果不想使用交互模式，跳过确认过程，则执行 --force 命令安装：./bin/install.sh --force
5. 进入到 MySQL 数据库中，查看创建的数据库。 如果服务上并没有安装 mysql 命令，则可以取用目录下 ./bin/db/datax-web.sql 脚本去手动执行，完成后修改相关配置文件。按照提示输入数据库地址，端口号，用户名，密码以及数据库名称。
6. 配置邮件服务 (可跳过)。 在项目目录（/data/DataX/datax-web-2.1.2/）下/modules/datax-admin/bin/env.properties 配置邮件服务。data-web 提供了失败告警功能，如果某一个任务执行失败，可以通过配置的邮件服务给指定邮箱发送一封'执行失败'的邮件。
7. 指定 PYTHON_PATH 的路径。
8. 一键启动和一键关闭 DataX-Web 服务。
   • 一键启动所有服务：中途可能发生部分模块启动失败或者卡住，可以退出重复执行，如果需要改变某一模块服务端口号，则 vi ./modules/{module_name}/bin/env.properties 找到 SERVER_PORT 配置项，改变它的值即可。当然也可以单一地启动某一模块服务：./bin/start.sh -m {module_name}
   • 一键取消所有服务：当然也可以单一地停止某一模块服务：./bin/stop.sh -m {module_name}
9. 查看服务（注意！注意！）。 在 Linux 环境下使用 JPS 命令，查看是否出现 DataXAdminApplication 和 DataXExecutorApplication 进程，如果存在这表示项目运行成功。 如果项目启动失败，请检查启动日志：modules/datax-admin/bin/console.out 或者 modules/datax-executor/bin/console.out。注意：脚本使用的都是 bash 指令集，如若使用 sh 调用脚本，可能会有未知的错误。
10. 运行。 部署完成后，在浏览器中输入 http://ip:port/index.html 就可以访问对应的主界面（ip 为 datax-admin 部署所在服务器 ip，port 为 datax-admin 指定的运行端口，默认 9527）。 输入用户名 admin 密码 123456 就可以直接访问系统。
11. 运行日志。 部署完成之后，在 modules/对应的项目/data/applogs 下 (用户也可以自己指定日志，修改 application.yml 中的 logpath 地址即可)，用户可以根据此日志跟踪项目实际启动情况。 如果执行器启动比 admin 快，执行器会连接失败，日志报"拒绝连接"的错误，一般是先启动 admin，再启动 executor，30 秒之后会重连，如果成功请忽略这个异常。

5.2 编译打包安装（了解即可）

安装步骤参考官方 GitHub 详细介绍：DataX-Web 编译打包方式安装

1. 编译打包（官方提供的 tar 包跳过）：直接从 Git 上面获得源代码，在项目的根目录下执行如下命令。 执行成功后将会在工程的 build 目录下生成安装包