Apache IoTDB(17):IoTDB数据保留时间管理从TTL设置到智能数据控制

Apache IoTDB(17):IoTDB数据保留时间管理从TTL设置到智能数据控制

引言

IoTDB 支持在设备(device)级别设置数据保留时间(TTL),系统会根据设定的TTL自动清理过期数据,从而有效管理存储空间并确保查询性能。TTL默认采用毫秒计时,数据过期后将不可查询且禁止写入,但实际物理删除会在数据压缩时完成。需要注意:修改TTL设置可能导致数据可见性短暂波动,若缩短或取消TTL设置,原先因TTL限制而不可见的数据可能会重新显示。

需要注意的是:

TTL 设置为毫秒,不受配置文件时间精度影响
TTL 变更可能影响数据的可查询性
系统最终会移除过期数据,但存在延迟
TTL 判断数据是否过期依据的是数据点时间,非写入时间
系统最多支持设置 1000 条 TTL 规则,达到上限需先删除部分规则才能设置新规则
在这里插入图片描述

Apache IoTDB 时序数据库【系列篇章】

No.文章地址(点击进入)
1Apache IoTDB(1):时序数据库介绍与单机版安装部署指南
2Apache IoTDB(2):时序数据库 IoTDB 集群安装部署的技术优势与适用场景分析
3Apache IoTDB(3):时序数据库 IoTDB Docker部署从单机到集群的全场景部署与实践指南
4Apache IoTDB(4):深度解析时序数据库 IoTDB 在Kubernetes 集群中的部署与实践指南
5Apache IoTDB(5):深度解析时序数据库 IoTDB 中 AINode 工具的部署与实践
6Apache IoTDB(6):深入解析数据库管理操作——增删改查与异构数据库实战指南
7Apache IoTDB(7):设备模板管理——工业物联网元数据标准化的破局之道
8Apache IoTDB(8):时间序列管理——从创建到分析的实战指南
9Apache IoTDB(9):数据库操作——数据写入从CLI到集群部署的六种实战
10Apache IoTDB(10):数据库操作——从查询到优化的全链路实践指南
11Apache IoTDB(11):分段聚合深度解析——从原理到实战的完整指南
12Apache IoTDB(12):深度解析时序数据聚合的GROUP BY与HAVING子句
13Apache IoTDB(13):数据处理的双刃剑——FILL空值填充与LIMIT/SLIMIT分页查询实战指南
14Apache IoTDB(14):IoTDB结果集排序与查询对齐模式——ORDER BY与ALIGN BY DEVICE使用
15Apache IoTDB(15):IoTDB查询写回(INTO子句)深度解析——从语法到实战的ETL全链路指南
16Apache IoTDB(16):数据删除从单点精准清除到企业级数据生命周期管理

本文将讲解IoTDB的TTL机制,从路径规则、适用规则到操作实践,结合生产环境真实案例,为友友们呈现一套完整的数据保留时间管理方案。

一、设置TTL

1.1 TTL Path 规则

设置的路径 path 只支持前缀路径(即路径中间不能带 * , 且必须以 ** 结尾),该路径会匹配到设备,也允许用户指定不带星的 path 为具体的 database 或 device,当 path 不带 * 时,会检查是否匹配到 database,若匹配到 database,则会同时设置 path 和 path.**。
注意:设备 TTL 设置不会对元数据的存在性进行校验,即允许对一条不存在的设备设置 TTL。

合格的 path: root.** root.db.** root.db.group1.** root.db root.db.group1.d1 不合格的 path: root.*.db root.**.db.* root.db.* 

1.2 特殊路径处理

当一个设备适用多条TTL规则时,优先适用较精确和较长的规则。例如对于设备“root.bj.hd.dist001.turbine001”来说,规则“root.bj.hd.dist001.turbine001”比“root.bj.hd.dist001.”优先,而规则“root.bj.hd.dist001.”比“root.bj.hd.**”优先;

为兼容历史版本,IoTDB实现智能路径扩展机制。当用户输入SET TTL TO root.sg 360000时,系统自动转换。

SET TTL TO root.sg.**360000;

系统对路径合法性进行严格校验,以下为合法路径示例:

root.** root.db.** root.db.group1.** root.db.group1.d1 

非法路径示例:

root.*.db -路径中间包含非法星号 root.**.db -路径结尾前存在星号 root.db.*-路径结尾星号前无字符 

1.3 TTL 适用规则

当一个设备适用多条TTL规则时,优先适用较精确和较长的规则。例如对于设备“root.bj.hd.dist001.turbine001”来说,规则“root.bj.hd.dist001.turbine001”比“root.bj.hd.dist001.”优先,而规则“root.bj.hd.dist001.”比“root.bj.hd.**”优先;

优先级的机制,当设备匹配多条TTL规则时,IoTDB采用"最精确最长"优先原则。以设备root.bj.hd.dist001.turbine001为例:

  1. 精确设备规则:root.bj.hd.dist001.turbine001(优先级最高)
  2. 分组规则:root.bj.hd.dist001.**
  3. 区域规则:root.bj.hd.**
  4. 全国规则:root.bj.**

规则数量也有限制,IoTDB系统最多支持1000条TTL规则。当达到数量上限的时候,需要先删除部分规则才能设置新规则。需要限制确保系统性能不受过量规则影响。

二、TTL设置操作

set ttl 操作可以理解为设置一条 TTL规则,比如 set ttl to root.sg.group1.** 就相当于对所有可以匹配到该路径模式的设备挂载 ttl。 unset ttl 操作表示对相应路径模式卸载 TTL,若不存在对应 TTL,则不做任何事。若想把 TTL 调成无限大,则可以使用 INF 关键字。

语法

设置TTL的标准语法:

SET TTL TO<pathPattern><ttlValue>;

示例:

set ttl to pathPattern 360000;

pathPattern 是前缀路径,即路径中间不能带 * 且必须以 ** 结尾。
pathPattern 匹配对应的设备。为了兼容老版本 SQL 语法,允许用户输入的 pathPattern 匹配到 db,则自动将前缀路径扩展为 path.
例如,写set ttl to root.sg 360000 则会自动转化为set ttl to root.sg.
360000,转化后的语句对所有 root.sg 下的 device 设置TTL。
但若写的 pathPattern 无法匹配到 db,则上述逻辑不会生效。
如写set ttl to root.sg.group 360000 ,由于root.sg.group未匹配到 db,则不会被扩充为root.sg.group.**。 也允许指定具体 device,不带 *

三、取消TTL操作

3.1 语法

取消TTL的标准语法:

IoTDB> unset ttl from root.**

示例:

IoTDB> unset ttl from root.ln 

取消设置 TTL 后, root.ln 路径下所有的数据都会被保存

IoTDB> unset ttl from root.sgcc.**

取消设置root.sgcc路径下的所有的 TTL

IoTDB> unset ttl from root.**

3.2 批量取消

IoTDB是支持批量取消TTL

取消整个存储组

UNSET TTL FROM root.bj.**;

取消多级分组TTL

UNSET TTL FROM root.sg.group1.**;

四、显示TTL信息

显示 TTL 的 SQL 语句如下

显示所有的TTL

SHOWALL TTL;

示例:

+--------------+--------+ | path | TTL | +--------------+--------+ | root.** | 55555555 | | root.sg2.a.**| 44440000 | +--------------+--------+ 

显示指定路径TTL

SHOW TTL ON root.db.**;

示例:

+--------------+--------+ | path | TTL | +--------------+--------+ | root.db.** | 55555555 | | root.db.a.** | 44440000 | +--------------+--------+ 

显示设备的 TTL

show devices 

示例:

+---------------+---------+---------+ | Device | IsAligned| TTL | +---------------+---------+---------+ | root.sg.device1| false | 36000000| | root.sg.device2| true | INF | +---------------+---------+---------+ 

显示表级TTL

SHOWTABLES DETAILS;

示例:

+---------+-------+----------+ | TableName| TTL(ms)| Status | +---------+-------+----------+ | bean | 300 | PRE_CREATE| | grass | 1000 | USING | | bamboo | 300 | USING | | flower | INF | USING | +---------+-------+----------+ 

IoTDB数据库TTL显示结果包含路径、TTL值和状态信息。INF表示无限TTL,数字表示具体毫秒数。状态信息等。

总结

Apache IoTDB的TTL机制通过智能化的数据生命周期管理,帮助企业实现存储成本与查询性能的完美平衡。本文从路径规则、适用规则到操作实践,全面解析了IoTDB的TTL管理机制。可以快速的构建高效可靠的数据保留时间管理体系。随着物联网技术的不断发展,IoTDB的TTL机制将持续更新迭代,为企业和个人提供更加智能、高效的数据管理方案。

Read more

Java 项目教程《尚庭公寓》,单体架构项目,从开发到部署

Java 项目教程《尚庭公寓》,单体架构项目,从开发到部署

Java 项目教程《尚庭公寓》Java项目从开发到部署 一、参考资料 【Java项目教程《尚庭公寓》java项目从开发到部署,适合新手其含金量高的Java项目实战】 https://www.bilibili.com/video/BV1At421K7gP/?share_source=copy_web&vd_source=855891859b2dc554eace9de3f28b4528 尚庭公寓项目 Gitee 地址 https://gitee.com/yangjunbo-jetli/shangting-apartment.git 二、笔记总结 1、课程简介 项目介绍 前期准备 1、安装 MySQL 2、初始化数据库 3、安装 maven 配置阿里云镜像仓库 4、安装

By Ne0inhk

[安卓] Kotlin中的架构演进:从MVC到MVVM

从Java到Kotlin,不仅仅是语法的升级,更是架构思维的进化。本文将带你全面掌握Kotlin在Android开发中三种核心架构模式:MVC、MVP、MVVM,揭示如何用Kotlin特性写出更优雅的架构代码。 引言:为什么Android开发者需要架构模式? 如果你有过Java Android开发经验,一定遇到过这些问题:Activity/Fragment代码臃肿(动辄上千行)、业务逻辑与UI逻辑混杂、测试困难、代码难以维护。架构模式正是为了解决这些问题而生的。而Kotlin,以其简洁的语法和强大的特性,让这些架构模式的实现变得更加优雅。 让我们从一个真实案例开始——用户登录模块,看看在不同架构模式下的演变: // 糟糕的无架构代码(Java风格)class BadLoginActivity :AppCompatActivity(){privatelateinitvar editUsername: EditText privatelateinitvar editPassword: EditText privatelateinitvar buttonLogin: Button

By Ne0inhk
【Kafka进阶篇】深入Kafka内部:日志存储的设计思路,藏着中间件高性能的真相

【Kafka进阶篇】深入Kafka内部:日志存储的设计思路,藏着中间件高性能的真相

🍃 予枫:个人主页 📚 个人专栏: 《Java 从入门到起飞》《读研码农的干货日常》 💻 Debug 这个世界,Return 更好的自己! 引言 做分布式开发的同学,几乎都用过Kafka,但多数人只停留在“生产者发消息、消费者收消息”的表层使用,很少深究:百万级消息并发下,Kafka如何快速定位目标消息?底层的.log、.index、.timeindex文件各司其职,又是如何配合实现高效读写的?今天就从物理层面拆解Kafka日志存储与索引机制,吃透这部分,不仅能搞定面试难点,更能在生产环境中精准优化Kafka性能。 文章目录 * 引言 * 一、前言:为什么要搞懂Kafka日志与索引机制? * 二、核心前提:Kafka日志的“分段存储”设计 * 三、深度拆解:三种核心文件的作用与结构 * 3.1 .log文件:消息的“真正存储载体” * 关键细节: * 3.2

By Ne0inhk

PostgreSQL:详解 PostGIS 地理信息数据处理

更多内容请见: 《深入掌握PostgreSQL数据库》 - 专栏介绍和目录 文章目录 * 一、PostGIS 简介 * 1.1 什么是 PostGIS? * 1.2 PostGIS 能做什么? * 二、安装与启用 PostGIS * 2.1 安装方式(以 Ubuntu 为例) * 2.2 验证安装 * 三、核心数据类型 * 3.1 geometry(几何类型) * 3.2 geography(地理类型) * 3.3 常见几何子类型(OGC 标准) * 四、空间数据表示与输入 * 4.1 WKT(Well-Known Text)

By Ne0inhk