针对异构数据库迁移中大表核对难题，提出一种基于主键的无排序分片算法。通过程序读取主键值或查询边界行，在内存中计算分位点或词典序切分，生成互不重叠且覆盖全表的 WHERE 条件组合。支持单列及复合主键，兼容 PostgreSQL、Oracle 及 GaussDB。经测试，该方案能利用索引范围扫描，避免全表扫描，显著提升大表数据抽取与一致性校验效率。提供 Python 与 Java 实现源码，并验证了含字符混合主键场景下的准确性。
在异构数据库迁移的项目中，核对迁移前后的大表数据一致性始终是一个难题。虽然存在库内计算全表特征值的对比工具，但通常只适用于特定数据库类型（如 Oracle 与 openGauss/GaussDB），且只能判断全表是否一致，无法定位差异行。如果表数据量极大，进行一次全表扫描的开销也非常大，因此必须考虑分片算法。
传统的分片算法大多需要排序，一般基于主键排序。如果使用行号去做切片，会导致每个分片查询实际上都进行了全表扫描，性能依旧很差。自然想到需要使用索引字段作为分片条件，但复合主键如何生成 WHERE 条件，能确保各分片数据不重叠无遗漏，这个算法具有一定难度。
本文尝试通过 AI 辅助设计并实现该算法。
注意该分片思路仅适用于带主键的表。
-- 构造一张百万行的表，3 个字段的复合主键
DROP TABLE T_SPLIT_MILLION;
CREATE TABLE T_SPLIT_MILLION (a NUMBER, b NUMBER, c NUMBER, pad VARCHAR2(20));
INSERT INTO T_SPLIT_MILLION SELECT MOD(ROWNUM, 3), MOD(ROWNUM, 100), ROWNUM, 'aaaaaaa' FROM DUAL CONNECT BY ROWNUM <= 1000000;
ALTER TABLE T_SPLIT_MILLION ADD CONSTRAINT PK_SPLIT_MILLION PRIMARY KEY(A, B, C) USING INDEX;
-- 统计总行数（有主键的表走 index fast full scan）
SELECT COUNT(1) FROM T_SPLIT_MILLION;
-- 根据分片数查询位点
SELECT A, B, C FROM (
SELECT A, B, C, ROW_NUMBER() OVER(ORDER BY A, B, C) rn
FROM T_SPLIT_MILLION
) WHERE rn IN(1, 250001, 500001, 750001, 1000000) ORDER BY rn;
首次看这个分片 SQL 很奇怪，因为每个分片竟然不是一个 WHERE，而是有多个 WHERE，但细看，就能发现这个条件拼得非常巧妙。我们一段段来看：
第一个分片，是第 1 行到第 250000 行，即含 (0,0,300)，一直往下，不含第 250001 行的 (0,5,375)。所以第一个条件 A = 0 AND B = 0 AND C >= 300 就涵盖了第一行，A、B 都是 0 时，C>=300，这个条件不会跨越到第二个分片。
特别的，由于第二个分片的第一行的 A 是 0，所以第一个分片的 A 都是 0；然后第一个分片，B 除了有等于 0 的，还会有大于 0 的，由于第二个分片的第一行的 B 是 75，所以第一个分片里的 B 的范围会在 0 到 75 之间。由于还要分割 C，所以这里需要分两种情况：B 小于 75 的，以及 B 等于 75 的。
当 B 小于 75 时，就不用管 C A = 0 AND B > 0 AND B < 75；当 B 等于 75 时，由于第二个分片的第一行 C 是 375，所以第一个分片 C 要小于 375 A = 0 AND B = 75 AND C < 375。
用表格展示如下，肯定是无重叠无遗漏的：
| piece | A | B | C |
|---|---|---|---|
| 1 | 0 | 0 | >=300 |
| 1 | 0 | >0 & <75 | … |
| 1 | 0 | 75 | <375 |
| 2 | 0 | 75 | 375 |
| … | … | … | … |
这个充分利用了主键的有序性和唯一性来做切片分割，哪怕主键的前几个字段不具有区分度，也能进行很好的切片。比如，如果 A 和 B 整列都是相同的值，那么组装的 WHERE 条件里就只有 C 的范围有区别了。
设计一个算法，根据数据库内一张大表的主键，对数据表进行 WHERE 条件切片查询。要求切片尽量平均，行数不需要绝对相等。切片查询时不能排序，也就是说需要根据主键生成无重叠无遗漏的所有可能的 WHERE 条件组合，而且主键可能是有多个字段的。
pk BETWEEN a_i AND b_i。[lo, hi)；最后一片右边界用 MAX_PK 并改成闭区间，以免遗漏。获取分位点（示例：切成 k 片）：
approx_percentile；否则用 percentile_disc，可能全表扫描。生成切片条件：将分位点数组去重后，构造第 i 片（0-based, i < k-1）：pk >= b_i AND pk < b_{i+1}；最后一片：pk >= b_{k-1} AND pk <= b_k。
假设复合 PK 为 (c1, c2)，并有相应的复合索引。
c1 先做单列分位点得到 [d0 ... dk]。c2 做分位点，或固定'次列桶数'm，在每个主列段上切 c2 的分位点。针对生成的 SQL 执行计划进行了多次迭代优化：
(c1, c2, ...) >= (...) AND (c1, c2, ...) < / <= (...)，这在 Oracle 和 PG 都是标准的行值比较，可直接走复合主键索引。DATE 'YYYY-MM-DD' / TIMESTAMP '...'，PG 与 Oracle 都支持，避免类型不匹配报错。ROW_NUMBER() 取 1、(n/k)、…、n 行，避免全表搬运。耗时从 12s 降到 <1s。提供了 Python 与 Java 版本的实现。
Python 版：
psycopg2-binary, cx_Oracle, numpy。Java 版：
javac -cp "lib/*" java/SliceSql.java。本项目实验性代码的实现思路，可能与尚在审查中的中国专利申请 CN116521708A 存在相似的部分。该专利申请目前未获授权，后续可能被修改或驳回。本代码仅用于个人技术研究交流，请勿用于任何商业目的。使用者需自行关注该专利的法律状态并评估风险。
重要法律提示：AI 生成的程序代码可能存在侵犯已有专利的风险！如果该专利生效后，有人自己写的 SQL 里出现了这种根据索引分成多次查询的 WHERE 条件，可能涉及侵权问题。
针对异构数据库迁移中大表核对难题，提出一种基于主键的无排序分片算法。通过程序读取主键值或查询边界行，在内存中计算分位点或词典序切分，生成互不重叠且覆盖全表的 WHERE 条件组合。支持单列及复合主键，兼容 PostgreSQL、Oracle 及 GaussDB。经测试，该方案能利用索引范围扫描，避免全表扫描，显著提升大表数据抽取与一致性校验效率。提供 Python 与 Java 实现源码，并验证了含字符混合主键场景下的准确性。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
查找任何按下的键的javascript键代码、代码、位置和修饰符。 在线工具，Keycode 信息在线工具，online
JavaScript 字符串转义/反转义；Java 风格 \uXXXX（Native2Ascii）编码与解码。 在线工具，Escape 与 Native 编解码在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
使用 Prettier 在浏览器内格式化 JavaScript 或 HTML 片段。 在线工具，JavaScript / HTML 格式化在线工具，online