Apache IoTDB FILL 空值填充与 LIMIT/SLIMIT 分页查询

在前值填充时，能够支持指定一个时间间隔，如果当前 null 值的时间戳与前一个非 null 值的时间戳的间隔，超过指定的时间间隔，则不进行填充。

在线性填充和常量填充的情况下，如果指定了第二个参数，会抛出异常 时间超时参数仅支持整数

例如，原始数据如下：

SELECT s1 FROM root.db.d1 

根据时间分组，每 1 分钟求一个平均值

SELECT AVG(s1) FROM root.db.d1 GROUP BY ([2023-11-08T16:40:00.008+08:00, 2023-11-08T16:50:00.008+08:00), 1m)

根据时间分组并用前值填充

SELECT AVG(s1) FROM root.db.d1 GROUP BY ([2023-11-08T16:40:00.008+08:00, 2023-11-08T16:50:00.008+08:00), 1m) FILL(PREVIOUS);

根据时间分组并用前值填充，并指定超过 2 分钟的就不填充

SELECT AVG(s1) FROM root.db.d1 GROUP BY ([2023-11-08T16:40:00.008+08:00, 2023-11-08T16:50:00.008+08:00), 1m) FILL(PREVIOUS, 2m);

LINEAR 填充

对于查询结果集中的空值，使用该列前一个非空值和下一个非空值的线性插值进行填充。

注意：

如果某个值之前的所有值都为空，或者某个值之后的所有值都为空，则不会填充该值。 如果某列的数据类型为 boolean/text，我们既不会填充它，也不会报错，只是让那一列保持原样。

例如，使用 LINEAR 填充，SQL 语句如下：

SELECT temperature, status FROM root.sgcc.wf03.wt01 WHERE time >= 2017-11-01T16:37:00.000 AND time <= 2017-11-01T16:40:00.000 FILL(LINEAR);

常量填充

对于查询结果集中的空值，使用指定常量填充。

注意：

如果某列数据类型与常量类型不兼容，既不填充该列，也不报错，将该列保持原样。对于常量兼容的数据类型，如下表所示： 当常量值大于 INT32 所能表示的最大值时，对于 INT32 类型的列，既不填充该列，也不报错，将该列保持原样。

例如，使用 FLOAT 类型的常量填充，SQL 语句如下：

SELECT temperature, status FROM root.sgcc.wf03.wt01 WHERE time >= 2017-11-01T16:37:00.000 AND time <= 2017-11-01T16:40:00.000 FILL(2.0);

再比如，使用 BOOLEAN 类型的常量填充，SQL 语句如下：

SELECT temperature, status FROM root.sgcc.wf03.wt01 WHERE time >= 2017-11-01T16:37:00.000 AND time <= 2017-11-01T16:40:00.000 FILL(true);

二、查询结果分页：LIMIT/SLIMIT

当查询结果集数据量很大，放在一个页面不利于显示，可以使用 LIMIT/SLIMIT 子句和 OFFSET/SOFFSET 子句进行分页控制。

LIMIT 和 SLIMIT 子句用于控制查询结果的行数和列数。 OFFSET 和 SOFFSET 子句用于控制结果显示的起始位置。

2.1 按行分页

用户可以通过 LIMIT 和 OFFSET 子句控制查询结果的行数，LIMIT rowLimit 指定查询结果的行数，OFFSET rowOffset 指定查询结果显示的起始行位置。

注意：

当 rowOffset 超过结果集的大小时，返回空结果集。 当 rowLimit 超过结果集的大小时，返回所有查询结果。 当 rowLimit 和 rowOffset 不是正整数，或超过 INT64 允许的最大值时，系统将提示错误。

我们将通过以下示例如何使用 LIMIT 和 OFFSET 子句。

示例 1：基本的 LIMIT 子句 SQL 语句：

SELECT status, temperature FROM root.ln.wf01.wt01 LIMIT 10

含义：所选设备为 ln 组 wf01 工厂 wt01 设备；选择的时间序列是'状态'和'温度'。SQL 语句要求返回查询结果的前 10 行。

示例 2：带 OFFSET 的 LIMIT 子句 SQL 语句：

SELECT status, temperature FROM root.ln.wf01.wt01 LIMIT 5 OFFSET 3

含义：所选设备为 ln 组 wf01 工厂 wt01 设备；选择的时间序列是'状态'和'温度'。SQL 语句要求返回查询结果的第 3 至 7 行（第一行编号为 0 行）。

示例 3：LIMIT 子句与 WHERE 子句结合 SQL 语句：

SELECT status, temperature FROM root.ln.wf01.wt01 WHERE time > 2024-07-07T00:05:00.000 AND time < 2024-07-12T00:12:00.000 LIMIT 5 OFFSET 3

含义：所选设备为 ln 组 wf01 工厂 wt01 设备；选择的时间序列是'状态'和'温度'。SQL 语句要求返回时间'2024-07-07T00:05:00.000'和'2024-07-12T00:12:00.000'之间的状态和温度传感器值的第 3 至 7 行（第一行编号为第 0 行）。

示例 4：LIMIT 子句与 GROUP BY 子句组合 SQL 语句：

SELECT COUNT(status), MAX_VALUE(temperature) FROM root.ln.wf01.wt01 GROUP BY ([2017-11-01T00:00:00, 2017-11-07T23:00:00), 1d) LIMIT 4 OFFSET 3

含义：SQL 语句子句要求返回查询结果的第 3 至 6 行（第一行编号为 0 行）。

2.2 按列分页

用户可以通过 SLIMIT 和 SOFFSET 子句控制查询结果的列数，SLIMIT seriesLimit 指定查询结果的列数，SOFFSET seriesOffset 指定查询结果显示的起始列位置。

注意：

仅用于控制值列，对时间列和设备列无效。 当 seriesOffset 超过结果集的大小时，返回空结果集。 当 seriesLimit 超过结果集的大小时，返回所有查询结果。 当 seriesLimit 和 seriesOffset 不是正整数，或超过 INT64 允许的最大值时，系统将提示错误。

我们将通过以下示例演示如何使用 SLIMIT 和 SOFFSET 子句。

示例 1：基本的 SLIMIT 子句 SQL 语句：

SELECT * FROM root.ln.wf01.wt01 WHERE time > 2017-11-01T00:05:00.000 AND time < 2017-11-01T00:12:00.000 SLIMIT 1

含义：所选设备为 ln 组 wf01 工厂 wt01 设备；所选时间序列是该设备下的第二列，即温度。SQL 语句要求在"2017-11-01T00:05:00.000"和"2017-11-01T00:12:00.000"的时间点之间选择温度传感器值。

示例 2：带 SOFFSET 的 SLIMIT 子句 SQL 语句：

SELECT * FROM root.ln.wf01.wt01 WHERE time > 2017-11-01T00:05:00.000 AND time < 2017-11-01T00:12:00.000 SLIMIT 1 SOFFSET 1

含义：所选设备为 ln 组 wf01 工厂 wt01 设备；所选时间序列是该设备下的第一列，即电源状态。SQL 语句要求在"2017-11-01T00:05:00.000"和"2017-11-01T00:12:00.000"的时间点之间选择状态传感器值。

示例 3：SLIMIT 子句与 GROUP BY 子句结合 SQL 语句：

SELECT MAX_VALUE(*) FROM root.ln.wf01.wt01 GROUP BY ([2017-11-01T00:00:00, 2017-11-07T23:00:00), 1d) SLIMIT 1 SOFFSET 1

示例 4：SLIMIT 子句与 LIMIT 子句结合 SQL 语句：

SELECT * FROM root.ln.wf01.wt01 LIMIT 10 OFFSET 100 SLIMIT 2 SOFFSET 0

含义：所选设备为 ln 组 wf01 工厂 wt01 设备；所选时间序列是此设备下的第 0 列至第 1 列（第一列编号为第 0 列）。SQL 语句子句要求返回查询结果的第 100 至 109 行（第一行编号为 0 行）。

三、特性融合

3.1 FILL 与分页的联合使用

在复杂查询场景中，可同时使用 FILL 与分页子句：

SELECT time, temperature, status FROM root.ln.wf01.wt01 WHERE time > 2024-11-27T00:00:00 FILL(LINEAR) LIMIT 100 OFFSET 500

这种组合特别适合大数据量下的趋势分析场景。

3.2 缓存机制

IoTDB 内置智能缓存系统，通过 LRU 算法管理查询结果缓存。在分页查询中，通过 cache_result_enabled 参数可开启结果集缓存，显著提升重复查询性能。

3.3 问题诊断

QueryStats 模块：实时监控查询性能指标 慢查询日志：自动记录执行时间超过阈值的查询 EXPLAIN 命令：可视化展示查询执行计划

通过这些工具，可快速定位性能瓶颈，优化查询策略。

四、性能调优

分页查询优化

在分页查询场景下，IoTDB 提供了专门的缓存优化方案：

-- 启用分页查询结果缓存
SET cache_result_enabled = true
-- 执行分页查询示例
SELECT * FROM root.device.* LIMIT 100 OFFSET 0

性能优势

重复查询加速：相同查询的第二次及后续执行可直接从缓存获取结果 并发查询优化：多个客户端请求相同数据时，只需计算一次 资源节约：减少重复计算和磁盘 I/O 操作

配置参数

通过合理配置这些参数，可以显著提升 IoTDB 在高并发查询场景下的性能表现。

五、总结与展望

本文全面揭示了 Apache IoTDB 的 FILL 空值填充与 LIMIT/SLIMIT 分页查询的核心原理、工业应用与性能优化策略。这两项特性如同数据处理的两把利剑，既解决了数据缺失的难题，又攻克了大数据量下的查询瓶颈。随着工业互联网的深入发展，IoTDB 将继续在时序数据处理领域发挥重要作用。通过不断迭代优化的 FILL 与分页机制，配合智能缓存、索引优化等辅助特性，IoTDB 将为工业物联网提供更强大、更智能的数据处理能力。