Apache IoTDB(17):IoTDB数据保留时间管理从TTL设置到智能数据控制

Apache IoTDB(17):IoTDB数据保留时间管理从TTL设置到智能数据控制

引言

IoTDB 支持在设备(device)级别设置数据保留时间(TTL),系统会根据设定的TTL自动清理过期数据,从而有效管理存储空间并确保查询性能。TTL默认采用毫秒计时,数据过期后将不可查询且禁止写入,但实际物理删除会在数据压缩时完成。需要注意:修改TTL设置可能导致数据可见性短暂波动,若缩短或取消TTL设置,原先因TTL限制而不可见的数据可能会重新显示。

需要注意的是:

TTL 设置为毫秒,不受配置文件时间精度影响
TTL 变更可能影响数据的可查询性
系统最终会移除过期数据,但存在延迟
TTL 判断数据是否过期依据的是数据点时间,非写入时间
系统最多支持设置 1000 条 TTL 规则,达到上限需先删除部分规则才能设置新规则
在这里插入图片描述

Apache IoTDB 时序数据库【系列篇章】

No.文章地址(点击进入)
1Apache IoTDB(1):时序数据库介绍与单机版安装部署指南
2Apache IoTDB(2):时序数据库 IoTDB 集群安装部署的技术优势与适用场景分析
3Apache IoTDB(3):时序数据库 IoTDB Docker部署从单机到集群的全场景部署与实践指南
4Apache IoTDB(4):深度解析时序数据库 IoTDB 在Kubernetes 集群中的部署与实践指南
5Apache IoTDB(5):深度解析时序数据库 IoTDB 中 AINode 工具的部署与实践
6Apache IoTDB(6):深入解析数据库管理操作——增删改查与异构数据库实战指南
7Apache IoTDB(7):设备模板管理——工业物联网元数据标准化的破局之道
8Apache IoTDB(8):时间序列管理——从创建到分析的实战指南
9Apache IoTDB(9):数据库操作——数据写入从CLI到集群部署的六种实战
10Apache IoTDB(10):数据库操作——从查询到优化的全链路实践指南
11Apache IoTDB(11):分段聚合深度解析——从原理到实战的完整指南
12Apache IoTDB(12):深度解析时序数据聚合的GROUP BY与HAVING子句
13Apache IoTDB(13):数据处理的双刃剑——FILL空值填充与LIMIT/SLIMIT分页查询实战指南
14Apache IoTDB(14):IoTDB结果集排序与查询对齐模式——ORDER BY与ALIGN BY DEVICE使用
15Apache IoTDB(15):IoTDB查询写回(INTO子句)深度解析——从语法到实战的ETL全链路指南
16Apache IoTDB(16):数据删除从单点精准清除到企业级数据生命周期管理

本文将讲解IoTDB的TTL机制,从路径规则、适用规则到操作实践,结合生产环境真实案例,为友友们呈现一套完整的数据保留时间管理方案。

一、设置TTL

1.1 TTL Path 规则

设置的路径 path 只支持前缀路径(即路径中间不能带 * , 且必须以 ** 结尾),该路径会匹配到设备,也允许用户指定不带星的 path 为具体的 database 或 device,当 path 不带 * 时,会检查是否匹配到 database,若匹配到 database,则会同时设置 path 和 path.**。
注意:设备 TTL 设置不会对元数据的存在性进行校验,即允许对一条不存在的设备设置 TTL。

合格的 path: root.** root.db.** root.db.group1.** root.db root.db.group1.d1 不合格的 path: root.*.db root.**.db.* root.db.* 

1.2 特殊路径处理

当一个设备适用多条TTL规则时,优先适用较精确和较长的规则。例如对于设备“root.bj.hd.dist001.turbine001”来说,规则“root.bj.hd.dist001.turbine001”比“root.bj.hd.dist001.”优先,而规则“root.bj.hd.dist001.”比“root.bj.hd.**”优先;

为兼容历史版本,IoTDB实现智能路径扩展机制。当用户输入SET TTL TO root.sg 360000时,系统自动转换。

SET TTL TO root.sg.**360000;

系统对路径合法性进行严格校验,以下为合法路径示例:

root.** root.db.** root.db.group1.** root.db.group1.d1 

非法路径示例:

root.*.db -路径中间包含非法星号 root.**.db -路径结尾前存在星号 root.db.*-路径结尾星号前无字符 

1.3 TTL 适用规则

当一个设备适用多条TTL规则时,优先适用较精确和较长的规则。例如对于设备“root.bj.hd.dist001.turbine001”来说,规则“root.bj.hd.dist001.turbine001”比“root.bj.hd.dist001.”优先,而规则“root.bj.hd.dist001.”比“root.bj.hd.**”优先;

优先级的机制,当设备匹配多条TTL规则时,IoTDB采用"最精确最长"优先原则。以设备root.bj.hd.dist001.turbine001为例:

  1. 精确设备规则:root.bj.hd.dist001.turbine001(优先级最高)
  2. 分组规则:root.bj.hd.dist001.**
  3. 区域规则:root.bj.hd.**
  4. 全国规则:root.bj.**

规则数量也有限制,IoTDB系统最多支持1000条TTL规则。当达到数量上限的时候,需要先删除部分规则才能设置新规则。需要限制确保系统性能不受过量规则影响。

二、TTL设置操作

set ttl 操作可以理解为设置一条 TTL规则,比如 set ttl to root.sg.group1.** 就相当于对所有可以匹配到该路径模式的设备挂载 ttl。 unset ttl 操作表示对相应路径模式卸载 TTL,若不存在对应 TTL,则不做任何事。若想把 TTL 调成无限大,则可以使用 INF 关键字。

语法

设置TTL的标准语法:

SET TTL TO<pathPattern><ttlValue>;

示例:

set ttl to pathPattern 360000;

pathPattern 是前缀路径,即路径中间不能带 * 且必须以 ** 结尾。
pathPattern 匹配对应的设备。为了兼容老版本 SQL 语法,允许用户输入的 pathPattern 匹配到 db,则自动将前缀路径扩展为 path.
例如,写set ttl to root.sg 360000 则会自动转化为set ttl to root.sg.
360000,转化后的语句对所有 root.sg 下的 device 设置TTL。
但若写的 pathPattern 无法匹配到 db,则上述逻辑不会生效。
如写set ttl to root.sg.group 360000 ,由于root.sg.group未匹配到 db,则不会被扩充为root.sg.group.**。 也允许指定具体 device,不带 *

三、取消TTL操作

3.1 语法

取消TTL的标准语法:

IoTDB> unset ttl from root.**

示例:

IoTDB> unset ttl from root.ln 

取消设置 TTL 后, root.ln 路径下所有的数据都会被保存

IoTDB> unset ttl from root.sgcc.**

取消设置root.sgcc路径下的所有的 TTL

IoTDB> unset ttl from root.**

3.2 批量取消

IoTDB是支持批量取消TTL

取消整个存储组

UNSET TTL FROM root.bj.**;

取消多级分组TTL

UNSET TTL FROM root.sg.group1.**;

四、显示TTL信息

显示 TTL 的 SQL 语句如下

显示所有的TTL

SHOWALL TTL;

示例:

+--------------+--------+ | path | TTL | +--------------+--------+ | root.** | 55555555 | | root.sg2.a.**| 44440000 | +--------------+--------+ 

显示指定路径TTL

SHOW TTL ON root.db.**;

示例:

+--------------+--------+ | path | TTL | +--------------+--------+ | root.db.** | 55555555 | | root.db.a.** | 44440000 | +--------------+--------+ 

显示设备的 TTL

show devices 

示例:

+---------------+---------+---------+ | Device | IsAligned| TTL | +---------------+---------+---------+ | root.sg.device1| false | 36000000| | root.sg.device2| true | INF | +---------------+---------+---------+ 

显示表级TTL

SHOWTABLES DETAILS;

示例:

+---------+-------+----------+ | TableName| TTL(ms)| Status | +---------+-------+----------+ | bean | 300 | PRE_CREATE| | grass | 1000 | USING | | bamboo | 300 | USING | | flower | INF | USING | +---------+-------+----------+ 

IoTDB数据库TTL显示结果包含路径、TTL值和状态信息。INF表示无限TTL,数字表示具体毫秒数。状态信息等。

总结

Apache IoTDB的TTL机制通过智能化的数据生命周期管理,帮助企业实现存储成本与查询性能的完美平衡。本文从路径规则、适用规则到操作实践,全面解析了IoTDB的TTL管理机制。可以快速的构建高效可靠的数据保留时间管理体系。随着物联网技术的不断发展,IoTDB的TTL机制将持续更新迭代,为企业和个人提供更加智能、高效的数据管理方案。

Read more

基于C++构建DeepSeek大模型推理SDK:从架构设计到工程落地

基于C++构建DeepSeek大模型推理SDK:从架构设计到工程落地

这里写目录标题 * 前言 * 一、 云端环境配置与鉴权机制 * 二、 C++ SDK 核心数据结构设计 * 1. 消息与配置实体 * 2. 模型信息与会话管理 * 三、 抽象接口层设计:策略模式的应用 * 四、 DeepSeek 适配器实现 * 1. 初始化逻辑 * 2. 信息查询接口 * 五、 单元测试与质量保证 * 1. 测试环境构建 * 2. 日志系统 * 六、 CMake 构建系统配置 * 1. 依赖管理 * 2. 编译目标与链接 * 七、 编译与调试过程 前言 在高性能计算与大模型(LLM)应用开发的浪潮中,C++凭借其卓越的内存管理能力和运行时效率,成为了构建底层推理SDK的首选语言。本文将深入剖析如何从零开始,设计并实现一个能够调用DeepSeek模型的C++ SDK。全通过程涵盖了云端鉴权、面向对象架构设计、多态接口封装、

By Ne0inhk
【C++】哈希扩展

【C++】哈希扩展

🌈个人主页:秦jh_-ZEEKLOG博客 🔥 系列专栏:https://blog.ZEEKLOG.net/qinjh_/category_12575764.html?spm=1001.2014.3001.5482     目录 位图 位图相关面试题 位图的设计及实现 C++库中的位图 bitset 位图的优缺点 位图相关考察题目 布隆过滤器 什么是布隆过滤器 布隆过滤器器误判率推导 布隆过滤器删除问题 布隆过滤器的应用 海量数据处理问题 给两个文件,分别有100亿个query,我们只有1G内存,如何找到两个文件交 集? 给一个超过100G大小的log file, log中存着ip地址, 设计算法找到出现次数最 多的ip地址?查找出现次数前10的ip地址 前言 💬 hello! 各位铁子们大家好哇。              今日更新了位图的相关内容 🎉 欢迎大家关注🔍点赞👍收藏⭐

By Ne0inhk
AVL树的平衡艺术:用C++写出会“站立”的二叉树(未完待续)

AVL树的平衡艺术:用C++写出会“站立”的二叉树(未完待续)

前言         在前几日的文章中,我曾提到过map和set的底层实现是基于红黑树,可能有不少读者以为今天的文章会讲解红黑树——但NO,NO,NO,虽然红黑树我会在后续讨论,但由于其较高的难度,今天我并不会直接介绍红黑树。而是将带大家了解另一种特殊的二叉搜索树——AVL树,也就是俗称的“平衡二叉搜索树”。这里的“平衡”二字非常巧妙,接下来正文中我会详细解释这其中的奥妙。         AVL树与红黑树一样,都是非常重要的自平衡二叉搜索树,但我认为相较于红黑树,AVL树的复杂度更低,且其旋转操作与红黑树的操作非常相似。今天,我将为大家详细讲解AVL树,带大家一步步攻克这个小“BOSS”。那么,系好安全带,准备好迎接这次有趣的挑战吧! 1.AVL树的概念 1.AVL树的来源以及简单的介绍         AVL树是最先被发明出来的平衡二叉搜索树,AVL树是一颗空树(什么结点也木有),或者是具备下面性质的二叉搜索树:它的左右子树均是AVL树,并且左右子树的高度差不能大于1(后面即将叙述的平衡因子)。AVL树是一颗高度平衡二叉搜索树,通过控制它的高度来控制平衡(因为这个性质A

By Ne0inhk

Cursor 使用记录:C/C++ 开发者

🧭 一、安装与环境建议 1. 插件与兼容性 Cursor 基于 VS Code 1.85+,部分旧插件可能不兼容。 推荐安装以下插件: 插件名称作用C/C++ Extension Pack提供语法补全与调试支持Remote - SSH远程开发CodeLLDBC/C++ 调试Better C++ Syntax增强语法高亮GitLens代码版本追踪 如果提示 “not compatible”,可以手动安装: 或下载 .vsix 文件手动导入。 2. 远程开发配置 建议使用 Remote SSH 模式,在远程服务器上直接编译与调试。 在本地 .cursor/settings.json 中添加配置: { "remote.SSH.remotePlatform": { "your_server"

By Ne0inhk