大表数据高效切片：基于主键的无排序 WHERE 条件生成算法

首次看这个分片 SQL 很奇怪，因为每个分片竟然不是一个 WHERE，而是有多个 WHERE，但细看，就能发现这个条件拼得非常巧妙。我们一段段来看：

第一个分片，是第 1 行到第 250000 行，即含 (0,0,300)，一直往下，不含第 250001 行的 (0,5,375)。所以第一个条件 A = 0 AND B = 0 AND C >= 300 就涵盖了第一行，A、B 都是 0 时，C>=300，这个条件不会跨越到第二个分片。

特别的，由于第二个分片的第一行的 A 是 0，所以第一个分片的 A 都是 0；然后第一个分片，B 除了有等于 0 的，还会有大于 0 的，由于第二个分片的第一行的 B 是 75，所以第一个分片里的 B 的范围会在 0 到 75 之间。由于还要分割 C，所以这里需要分两种情况：B 小于 75 的，以及 B 等于 75 的。

当 B 小于 75 时，就不用管 C A = 0 AND B > 0 AND B < 75；当 B 等于 75 时，由于第二个分片的第一行 C 是 375，所以第一个分片 C 要小于 375 A = 0 AND B = 75 AND C < 375。

用表格展示如下，肯定是无重叠无遗漏的：

这个充分利用了主键的有序性和唯一性来做切片分割，哪怕主键的前几个字段不具有区分度，也能进行很好的切片。比如，如果 A 和 B 整列都是相同的值，那么组装的 WHERE 条件里就只有 C 的范围有区别了。

算法设计与实现过程

需求分析

设计一个算法，根据数据库内一张大表的主键，对数据表进行 WHERE 条件切片查询。要求切片尽量平均，行数不需要绝对相等。切片查询时不能排序，也就是说需要根据主键生成无重叠无遗漏的所有可能的 WHERE 条件组合，而且主键可能是有多个字段的。

方案选择

1. 单列主键：使用采样 + 分位点 → 生成范围 WHERE。例如 pk BETWEEN a_i AND b_i。
2. 复合主键：采用'主列范围 + 次列范围'的词典序切片策略。先按主列分片，再在每片内用次键范围补充。
3. 执行阶段：无需排序，利用已知边界生成条件。准备阶段可排序/扫描一次获取分界点。

通用前置原则

• 会话隔离一致性：优先可重复读/一致性读。在同一事务内获取分位点和执行分片，避免数据漂移。
• 边界约定：区间使用左闭右开 [lo, hi)；最后一片右边界用 MAX_PK 并改成闭区间，以免遗漏。
• 主键无 NULL：不需考虑 NULL 分片。

实现细节

单列主键（采样分位点范围分片）

获取分位点（示例：切成 k 片）：

• PostgreSQL：使用连续型或可排序标量 PK。
• Oracle：19c+ 有 approx_percentile；否则用 percentile_disc，可能全表扫描。

生成切片条件：将分位点数组去重后，构造第 i 片（0-based, i < k-1）：pk >= b_i AND pk < b_{i+1}；最后一片：pk >= b_{k-1} AND pk <= b_k。

复合主键（主列范围 + 次列范围，词典序）

假设复合 PK 为 (c1, c2)，并有相应的复合索引。

1. 对主列 c1 先做单列分位点得到 [d0 ... dk]。
2. 每段内再对次列 c2 做分位点，或固定'次列桶数'm，在每个主列段上切 c2 的分位点。
3. 生成词典序不重叠条件（左闭右开，最后一片右闭）。
4. 若复合键有更多列，递归同样策略。

优化与验证

针对生成的 SQL 执行计划进行了多次迭代优化：

1. 索引可用性：初始生成的词典序区间用多重 OR，会削弱复合主键索引的可用性。已改为行值比较 (c1, c2, ...) >= (...) AND (c1, c2, ...) < / <= (...)，这在 Oracle 和 PG 都是标准的行值比较，可直接走复合主键索引。
2. 时间字面量：修正日期格式，使用 ANSI 字面量 DATE 'YYYY-MM-DD' / TIMESTAMP '...'，PG 与 Oracle 都支持，避免类型不匹配报错。
3. 纯 AND 范围：为避免 OR 导致优化器不走索引范围扫描，建议把每个分片改写为若干条纯 AND 的范围段再 UNION ALL，或者拆成多个分片 SQL。最终方案调整为输出多条 AND 语句以保证索引范围扫描。
4. 性能调优：全量拉取 100 万行主键耗时较长。优化为'仅取边界行'方案，不再全量搬运主键。使用 ROW_NUMBER() 取 1、(n/k)、…、n 行，避免全表搬运。耗时从 12s 降到 <1s。

多语言实现

提供了 Python 与 Java 版本的实现。

Python 版：

• 依赖：psycopg2-binary, cx_Oracle, numpy。
• 支持自动读取主键列名与主键值，按分位点或词典序均分生成覆盖全表、无重叠的 WHERE 分片 SQL。
• 支持 schema.table 形式输入。

Java 版：

• 逻辑与 Python 版一致：仅取分位边界行，按纯 AND 范围生成 SQL。
• 兼容 GaussDB/OpenGauss/gaussdb（PK 列通过 pg_constraint.conkey 获取），兼容 Oracle（USER_CONS_COLUMNS）。
• 编译运行示例：javac -cp "lib/*" java/SliceSql.java。

专利风险提示

本项目实验性代码的实现思路，可能与尚在审查中的中国专利申请 CN116521708A 存在相似的部分。该专利申请目前未获授权，后续可能被修改或驳回。本代码仅用于个人技术研究交流，请勿用于任何商业目的。使用者需自行关注该专利的法律状态并评估风险。

重要法律提示：AI 生成的程序代码可能存在侵犯已有专利的风险！如果该专利生效后，有人自己写的 SQL 里出现了这种根据索引分成多次查询的 WHERE 条件，可能涉及侵权问题。

总结

针对异构数据库迁移中大表核对难题，提出一种基于主键的无排序分片算法。通过程序读取主键值或查询边界行，在内存中计算分位点或词典序切分，生成互不重叠且覆盖全表的 WHERE 条件组合。支持单列及复合主键，兼容 PostgreSQL、Oracle 及 GaussDB。经测试，该方案能利用索引范围扫描，避免全表扫描，显著提升大表数据抽取与一致性校验效率。提供 Python 与 Java 实现源码，并验证了含字符混合主键场景下的准确性。