跳到主要内容Apache IoTDB FILL 空值填充与 LIMIT/SLIMIT 分页查询 | 极客日志SQLjava
Apache IoTDB FILL 空值填充与 LIMIT/SLIMIT 分页查询
Apache IoTDB 提供 FILL 子句用于处理查询结果中的空值,支持前值填充、线性插值及常量填充。LIMIT 和 SLIMIT 子句分别控制查询结果的行数和列数分页,配合 OFFSET 和 SOFFSET 可实现灵活的数据截取。结合缓存机制与配置参数优化,可提升高并发场景下的查询性能。
不知所云8 浏览 引言
在工业物联网(IIoT)场景中,时序数据库 Apache IoTDB 凭借其高效的写入性能和灵活的查询能力,成为处理海量设备数据的首选方案。然而在实际业务中,数据缺失和分页查询的性能瓶颈常困扰着开发者。
一、结果集补空值—FILL 子句的解构
1.1 功能介绍
当执行一些数据查询时,结果集的某行某列可能没有数据,则此位置结果为空,但这种空值不利于进行数据可视化展示和分析,需要对空值进行填充。
在 IoTDB 中,用户可以使用 FILL 子句指定数据缺失情况下的填充模式,允许用户按照特定的方法对任何查询的结果集填充空值,如取前一个不为空的值、线性插值等。
1.2 语法定义
FILL 子句的语法定义如下:
FILL '(' PREVIOUS | LINEAR | constant ')'
注意:
在 Fill 语句中只能指定一种填充方法,该方法作用于结果集的全部列。
空值填充不兼容 0.13 版本及以前的语法(即不支持 FILL((<data_type>[<fill_method>(, <before_range>, <after_range>)?])+))
1.3 填充方式
IoTDB 目前支持以下三种空值填充方式:
PREVIOUS 填充:使用该列前一个非空值进行填充。
LINEAR 填充:使用该列前一个非空值和下一个非空值的线性插值进行填充。
常量填充:使用指定常量填充。
对于数据类型不支持指定填充方法的列,既不会填充它,也不会报错,只是让那一列保持原样。
通过举例说明
如果我们不使用任何填充方式:
SELECT temperature, status FROM root.sgcc.wf03.wt01 WHERE time >= 2017-11-01T16:37:00.000 AND time <= 2017-11-01T16:40:00.000;
PREVIOUS 填充
对于查询结果集中的空值,使用该列前一个非空值进行填充。
注意:如果结果集的某一列第一个值就为空,则不会填充该值,直到遇到该列第一个非空值为止。
例如,使用 PREVIOUS 填充,SQL 语句如下:
SELECT temperature, status FROM root.sgcc.wf03.wt01 WHERE time T16:: T16:: FILL(PREVIOUS);
>=
2017
-11
-01
37
00.000
AND
time
<=
2017
-11
-01
40
00.000
在前值填充时,能够支持指定一个时间间隔,如果当前 null 值的时间戳与前一个非 null 值的时间戳的间隔,超过指定的时间间隔,则不进行填充。
在线性填充和常量填充的情况下,如果指定了第二个参数,会抛出异常
时间超时参数仅支持整数
SELECT s1 FROM root.db.d1
SELECT AVG(s1) FROM root.db.d1 GROUP BY ([2023-11-08T16:40:00.008+08:00, 2023-11-08T16:50:00.008+08:00), 1m)
SELECT AVG(s1) FROM root.db.d1 GROUP BY ([2023-11-08T16:40:00.008+08:00, 2023-11-08T16:50:00.008+08:00), 1m) FILL(PREVIOUS);
根据时间分组并用前值填充,并指定超过 2 分钟的就不填充
SELECT AVG(s1) FROM root.db.d1 GROUP BY ([2023-11-08T16:40:00.008+08:00, 2023-11-08T16:50:00.008+08:00), 1m) FILL(PREVIOUS, 2m);
对于查询结果集中的空值,使用该列前一个非空值和下一个非空值的线性插值进行填充。
如果某个值之前的所有值都为空,或者某个值之后的所有值都为空,则不会填充该值。
如果某列的数据类型为 boolean/text,我们既不会填充它,也不会报错,只是让那一列保持原样。
例如,使用 LINEAR 填充,SQL 语句如下:
SELECT temperature, status FROM root.sgcc.wf03.wt01 WHERE time >= 2017-11-01T16:37:00.000 AND time <= 2017-11-01T16:40:00.000 FILL(LINEAR);
如果某列数据类型与常量类型不兼容,既不填充该列,也不报错,将该列保持原样。对于常量兼容的数据类型,如下表所示:
当常量值大于 INT32 所能表示的最大值时,对于 INT32 类型的列,既不填充该列,也不报错,将该列保持原样。
例如,使用 FLOAT 类型的常量填充,SQL 语句如下:
SELECT temperature, status FROM root.sgcc.wf03.wt01 WHERE time >= 2017-11-01T16:37:00.000 AND time <= 2017-11-01T16:40:00.000 FILL(2.0);
再比如,使用 BOOLEAN 类型的常量填充,SQL 语句如下:
SELECT temperature, status FROM root.sgcc.wf03.wt01 WHERE time >= 2017-11-01T16:37:00.000 AND time <= 2017-11-01T16:40:00.000 FILL(true);
二、查询结果分页:LIMIT/SLIMIT
当查询结果集数据量很大,放在一个页面不利于显示,可以使用 LIMIT/SLIMIT 子句和 OFFSET/SOFFSET 子句进行分页控制。
LIMIT 和 SLIMIT 子句用于控制查询结果的行数和列数。
OFFSET 和 SOFFSET 子句用于控制结果显示的起始位置。
2.1 按行分页
用户可以通过 LIMIT 和 OFFSET 子句控制查询结果的行数,LIMIT rowLimit 指定查询结果的行数,OFFSET rowOffset 指定查询结果显示的起始行位置。
当 rowOffset 超过结果集的大小时,返回空结果集。
当 rowLimit 超过结果集的大小时,返回所有查询结果。
当 rowLimit 和 rowOffset 不是正整数,或超过 INT64 允许的最大值时,系统将提示错误。
我们将通过以下示例如何使用 LIMIT 和 OFFSET 子句。
示例 1:基本的 LIMIT 子句
SQL 语句:
SELECT status, temperature FROM root.ln.wf01.wt01 LIMIT 10
含义:所选设备为 ln 组 wf01 工厂 wt01 设备;选择的时间序列是'状态'和'温度'。SQL 语句要求返回查询结果的前 10 行。
示例 2:带 OFFSET 的 LIMIT 子句
SQL 语句:
SELECT status, temperature FROM root.ln.wf01.wt01 LIMIT 5 OFFSET 3
含义:所选设备为 ln 组 wf01 工厂 wt01 设备;选择的时间序列是'状态'和'温度'。SQL 语句要求返回查询结果的第 3 至 7 行(第一行编号为 0 行)。
示例 3:LIMIT 子句与 WHERE 子句结合
SQL 语句:
SELECT status, temperature FROM root.ln.wf01.wt01 WHERE time > 2024-07-07T00:05:00.000 AND time < 2024-07-12T00:12:00.000 LIMIT 5 OFFSET 3
含义:所选设备为 ln 组 wf01 工厂 wt01 设备;选择的时间序列是'状态'和'温度'。SQL 语句要求返回时间'2024-07-07T00:05:00.000'和'2024-07-12T00:12:00.000'之间的状态和温度传感器值的第 3 至 7 行(第一行编号为第 0 行)。
示例 4:LIMIT 子句与 GROUP BY 子句组合
SQL 语句:
SELECT COUNT(status), MAX_VALUE(temperature) FROM root.ln.wf01.wt01 GROUP BY ([2017-11-01T00:00:00, 2017-11-07T23:00:00), 1d) LIMIT 4 OFFSET 3
含义:SQL 语句子句要求返回查询结果的第 3 至 6 行(第一行编号为 0 行)。
2.2 按列分页
用户可以通过 SLIMIT 和 SOFFSET 子句控制查询结果的列数,SLIMIT seriesLimit 指定查询结果的列数,SOFFSET seriesOffset 指定查询结果显示的起始列位置。
仅用于控制值列,对时间列和设备列无效。
当 seriesOffset 超过结果集的大小时,返回空结果集。
当 seriesLimit 超过结果集的大小时,返回所有查询结果。
当 seriesLimit 和 seriesOffset 不是正整数,或超过 INT64 允许的最大值时,系统将提示错误。
我们将通过以下示例演示如何使用 SLIMIT 和 SOFFSET 子句。
示例 1:基本的 SLIMIT 子句
SQL 语句:
SELECT * FROM root.ln.wf01.wt01 WHERE time > 2017-11-01T00:05:00.000 AND time < 2017-11-01T00:12:00.000 SLIMIT 1
含义:所选设备为 ln 组 wf01 工厂 wt01 设备;所选时间序列是该设备下的第二列,即温度。SQL 语句要求在"2017-11-01T00:05:00.000"和"2017-11-01T00:12:00.000"的时间点之间选择温度传感器值。
示例 2:带 SOFFSET 的 SLIMIT 子句
SQL 语句:
SELECT * FROM root.ln.wf01.wt01 WHERE time > 2017-11-01T00:05:00.000 AND time < 2017-11-01T00:12:00.000 SLIMIT 1 SOFFSET 1
含义:所选设备为 ln 组 wf01 工厂 wt01 设备;所选时间序列是该设备下的第一列,即电源状态。SQL 语句要求在"2017-11-01T00:05:00.000"和"2017-11-01T00:12:00.000"的时间点之间选择状态传感器值。
示例 3:SLIMIT 子句与 GROUP BY 子句结合
SQL 语句:
SELECT MAX_VALUE(*) FROM root.ln.wf01.wt01 GROUP BY ([2017-11-01T00:00:00, 2017-11-07T23:00:00), 1d) SLIMIT 1 SOFFSET 1
示例 4:SLIMIT 子句与 LIMIT 子句结合
SQL 语句:
SELECT * FROM root.ln.wf01.wt01 LIMIT 10 OFFSET 100 SLIMIT 2 SOFFSET 0
含义:所选设备为 ln 组 wf01 工厂 wt01 设备;所选时间序列是此设备下的第 0 列至第 1 列(第一列编号为第 0 列)。SQL 语句子句要求返回查询结果的第 100 至 109 行(第一行编号为 0 行)。
三、特性融合
3.1 FILL 与分页的联合使用
在复杂查询场景中,可同时使用 FILL 与分页子句:
SELECT time, temperature, status FROM root.ln.wf01.wt01 WHERE time > 2024-11-27T00:00:00 FILL(LINEAR) LIMIT 100 OFFSET 500
3.2 缓存机制
IoTDB 内置智能缓存系统,通过 LRU 算法管理查询结果缓存。在分页查询中,通过 cache_result_enabled 参数可开启结果集缓存,显著提升重复查询性能。
3.3 问题诊断
QueryStats 模块:实时监控查询性能指标
慢查询日志:自动记录执行时间超过阈值的查询
EXPLAIN 命令:可视化展示查询执行计划
四、性能调优
在分页查询场景下,IoTDB 提供了专门的缓存优化方案:
SET cache_result_enabled = true
SELECT * FROM root.device.* LIMIT 100 OFFSET 0
重复查询加速:相同查询的第二次及后续执行可直接从缓存获取结果
并发查询优化:多个客户端请求相同数据时,只需计算一次
资源节约:减少重复计算和磁盘 I/O 操作
| 参数名 | 默认值 | 说明 |
|---|
cache_result_enabled | false | 是否启用查询结果缓存 |
cache_size_in_mb | 100 | 缓存大小 (MB) |
cache_eviction_algorithm | LRU | 缓存淘汰算法 |
通过合理配置这些参数,可以显著提升 IoTDB 在高并发查询场景下的性能表现。
五、总结与展望
本文全面揭示了 Apache IoTDB 的 FILL 空值填充与 LIMIT/SLIMIT 分页查询的核心原理、工业应用与性能优化策略。这两项特性如同数据处理的两把利剑,既解决了数据缺失的难题,又攻克了大数据量下的查询瓶颈。随着工业互联网的深入发展,IoTDB 将继续在时序数据处理领域发挥重要作用。通过不断迭代优化的 FILL 与分页机制,配合智能缓存、索引优化等辅助特性,IoTDB 将为工业物联网提供更强大、更智能的数据处理能力。
相关免费在线工具
- Keycode 信息
查找任何按下的键的javascript键代码、代码、位置和修饰符。 在线工具,Keycode 信息在线工具,online
- Escape 与 Native 编解码
JavaScript 字符串转义/反转义;Java 风格 \uXXXX(Native2Ascii)编码与解码。 在线工具,Escape 与 Native 编解码在线工具,online
- JavaScript / HTML 格式化
使用 Prettier 在浏览器内格式化 JavaScript 或 HTML 片段。 在线工具,JavaScript / HTML 格式化在线工具,online
- JavaScript 压缩与混淆
Terser 压缩、变量名混淆,或 javascript-obfuscator 高强度混淆(体积会增大)。 在线工具,JavaScript 压缩与混淆在线工具,online
- SQL 美化和格式化
在线格式化和美化您的 SQL 查询(它支持各种 SQL 方言)。 在线工具,SQL 美化和格式化在线工具,online
- SQL转CSV/JSON/XML
解析 INSERT 等受限 SQL,导出为 CSV、JSON、XML、YAML、HTML 表格(见页内语法说明)。 在线工具,SQL转CSV/JSON/XML在线工具,online