KDTS 工具实现 MySQL 至 KingbaseES 数据迁移实战

![图片]

3.3 创建目标数据库连接（WEB）

创建数据库连接界面如下，填写数据源信息，包括：'连接名称'、'数据库类型'、'数据库版本'、'服务器地址'、'端口'、'用户名'、'密码'、'数据库'、'驱动'、'URL'、'连接参数'。

![图片]

3.4 新建迁移任务（WEB）

KDTS 采用向导页的方式指导用户新建迁移任务，简单易用，用户依次配置'选择数据源'-'选择模式'-'选择迁移对象'-'配置参数'，即可快速配置一个迁移任务。

1. 选择数据源 填写自定义任务名称（任务名称不能重复），选择'源数据库'和'目标数据库'，或者选择'新建数据源'后使用。

   ![图片]

2. 选择模式 选择需要迁移的模式（如需选择模式在系统模式中可选中'包含系统模式'复选框）的表结构、表数据、视图、序列、函数、存储过程、程序包、同义词、自定义类型等。当模式较多时也可以通过左上方的查询框进行检索。请至少选择一种模式，否则将收到错误提示，以至于不能完成新建任务。

   ![图片]

3. 选择迁移对象 通过已选模式选择需要迁移数据的表，模式较多时可在已选模式搜索框内输入模式名关键字进行快速检索。

   ![图片]

   可迁移此模式下全部表，也可以指定或排除部份表，当选择'包含指定对象'或'排除指定对象'时，请通过'从列表选择'或'从文件导入'将数据添加到包含列表中。

   从列表选择对象时，可选择对应模式、检索对象名关键字进行快速检索对象。点击'添加'按钮后加入到已选列表，当想要移除部份表时可以选择对应的表点击'移除'按钮取消表。选择完成后点击确定。

   ![图片]

4. 配置参数 迁移工具提供了一系列配置参数用于迁移方案的个性化配置，满足多种迁移场景。配置参数分为'迁移配置'、'数据类型映射'、'线程配置'三个方面。

   ![图片]

3.5 执行迁移任务（WEB）

将此任务作为预迁移任务点击'保存'，或者作为执行任务点击'保存并迁移'。迁移完成后任务状态将变成：

• 迁移完成，迁移结束'状态'栏显示'完成'，则迁移任务成功。

  ![图片]

• 迁移失败，迁移结束'状态'栏显示'失败'，则迁移任务失败。失败后可点击详情查看日志进行解决。

  ![图片]

3.6 迁移报告及问题处理查看（WEB）

迁移完成后，需要确认执行结果，包括迁移数据量，是否有错误发生，可以通过迁移日志和迁移结果进行查看。

'迁移结果'功能的工作区包括'任务执行批次'、'迁移对象'、'总数'、'成功数'、'失败数'、'略过数'、'操作'，可以查看历史迁移任务执行的每次记录，以及每次迁移的对象、成功数、失败数、查看失败任务的错误日志。

![图片]

3.7 配置数据库连接信息（SHELL）

配置步骤分为 3 步：激活配置文件、配置数据库连接、配置相关参数。

（1）进入 KDTS-CLI/conf 目录下，打开 application.yml 文件，根据源库类型设置当前激活的源库配置（active: mysql）

![图片]

在正确设置 application.yml 中的 active 项后，打开对应配置文件（datasource-mysql.yml），按实际运行环境进行配置。

（2）配置源端数据库连接信息、目标数据库连接信息

编辑 conf/datasource-mysql.yml 文件，编辑源端和目标端连接信息，包括 url、driver-class-name、username、password 信息。

![图片]

![图片]

（3）配置要迁移的源库模式，数据库对象，涉及到的参数如下

![图片]

![图片]

迁移配置参数整理

text
编辑 conf/datasource-mysql.yml 文件有多个配置参数，可灵活使用。以下列举常用的配置参数。
fetchSize,游标提取记录数（每次和服务器交互提取的数据行数，加大该值可提升读取效率，但会增加内存开销（一次将指定数量的数据取回放在缓存中））。
tableWithLargeObjectFetchSize,含大对象数据表的游标提取记录数（同上，只是此参数针对有大对象字段的表）。
tableWithBigLargeObjectFetchSize,大表拆分阈值行数（当表的行数超过此值时，将对表进行拆分，每块的记录数为此值和表总记录数除以'拆分最大块数'中的最大值）。
largeTableSplitThresholdRows,大表拆分阈值行数（当表的行数超过此值时，将对表进行拆分，每块的记录数为此值和表总记录数除以'拆分最大块数'中的最大值）。
largeTableSplitThresholdSize,大表拆分阈值大小（单位为 M）（当表的数据大小（普通字段 + 大对象字段）超过此值时，将对表进行拆分）。
largeTableSplitMaxChunkNum,大表拆分最大块数（每张表的最大拆分块数，应不超过总的读线程数）。
largeTableSplitConditionFile,大表拆分条件定义文件（优先于按行数和大小拆分）。
tableDataFilterConditionFile,表数据过滤条件定义文件。
useKdms,是否使用 kdms 做转换（视图、函数、存储过程、包、触发器）。
kdmsUrl,kdms 访问地址，前提是 useKdms: true。
writeBatchSize,批量提交记录数（行数据）。
writeBatchByteSize,批量提交数据大小（单位 M）。
lobInMemoryThresholdSize,大对象数据读入内存阈值（单位兆，默认 128M）。
dropExistingObject,删除目标库中已存在的对象（如表、视图等）。
truncateTable,是否默认清空目标库中已存在的表数据。
renameObject,目标数据库对象重命名，除表名、列名外的其他对象：pk、fk、constraint、unique constraint、index 等。

3.8 启动脚本（SHELL）

进入 KDTS-CLI/bin 目录下，编辑 startup.sh：

1. 检查 JDK 的路径是否正确

JAVA_PATH=${BASE_PATH}/jdk

2. 启动运行脚本

进入 KDTS-CLI/bin 目录，执行：./startup.sh

四、错误日志

4.1 日志路径

可以在运行日志（kdts_plus_*.log）中查看到迁移整个过程的信息，包括任务启动、迁移进程、结果汇总。

可查看 result 下的迁移结果（在形如'result/2021-12-02_15-15-15/Sehcma1'目录下）：

• index.html–报告主页面
• detail_XXX.html–XXX 详细信息（如表结构、表数据、表主键等）
• FailedScript–失败脚本目录
• IgnoredScript–略过脚本目录
• SuccessScript–成功脚本目录

在迁移过程中一旦某个对象创建失败，KDTS 会将该对象的创建 sql 保留到本次迁移任务文件夹下的 FailedScript 目录下*.sql 文件，可以手动修改后通过 Ksql 或者 KStudio 工具手动执行。

4.2 常见问题

1. 迁移速度慢

   • 原因：网络带宽不足、并行度设置过低
   • 处理：增加 read-thread 和 write-thread 数值（建议不超过 CPU 核心数的 2 倍）。使用万兆网卡或压缩传输（在 KDTS 配置中启用 compress=true）。

2. 字符集乱码

   • 原因：源库与目标库字符集不一致（如 MySQL 的 utf8mb4 vs KingBase 的 UTF8）。
   • 处理：在 KDTS 连接配置中显式指定字符集：连接参数：characterEncoding=UTF8&useUnicode=true

五、结语：国产化迁移的未来趋势

通过一系列迁移操作以及全面的验证与优化，成功地将 MySQL 数据库迁移至 KingbaseES。在迁移过程中，通过 KDTS 工具实现了数据的高效迁移，经过严格的数据准确性校验，确保了迁移后数据的完整性和一致性，关键数据字段的准确率达到了 99% 以上。

然而，迁移过程并非一帆风顺，遇到了数据类型不兼容、语法差异等诸多问题。通过采取针对性的解决方案，更需要更加注重前期的调研和准备工作，充分了解源数据库和目标数据库的差异，制定更加详细和完善的迁移方案，以降低迁移风险，提高迁移成功率。

应对迁移后需要进行全面的功能测试，并对测出问题及时分析、排查和修改。对那些很难定位的问题，可联系 KingbaseES 支持。

未来，随着 AI 技术的融入，KDTS 有望实现全自动化迁移评估、智能 SQL 优化、自适应性能调优，进一步推动国产数据库生态。