前言
在工业物联网的浪潮中,数据不再是副产品,而是驱动决策的核心资产。随着物联网、工业互联网和智能监控的迅猛发展,时序数据正以前所未有的速度爆发。据预测,到 2025 年全球物联网设备将达 750 亿台,每秒都在产生海量的时间序列数据。如何高效地存储、管理与分析这些数据,已成为企业数字化转型的关键挑战。
一、为什么需要时序数据库?
1.1 什么是时序数据?
时序数据,也称为时间序列数据,是指按时间顺序记录的同一统计指标的数据集合。这类数据的来源主要是能源、工程、交通等工业物联网强关联行业的机器设备和传感器,如汽车的车速、发动机转速,发电风车的功率、电压、电流等。
1.2 时序数据的典型特征
- 测点多:在工业领域,设备数量可达百万级别,数据测点可达亿级,并随业务增长动态增加。
- 采样频率高:在部分振动状态监控场景下,采样频次可达 1kHz。
- 存储成本高:数据的月增量可达 10TB 以上,并需长期存储海量历史数据。
时序数据库是专门用于管理时序数据的数据库类型。随着物联网设备和数据量的爆炸式增长,时序数据库通过管理和分析历史数据以及新产生的时序数据,能够助力工业企业实现数字化转型、工业 4.0 升级,进而达到降低成本、提高效率、提升产品质量等目的。
二、IoTDB 诞生的价值
2.1 技术背景与自主研发
IoTDB 是一款国产自研的物联网原生时序数据库,其技术发源于清华大学,目前已历经 13 年的发展。IoTDB 的诞生,主要是为了解决工业物联网时序数据管理的实时性、压缩比、分布式部署等多方面痛点。
开源版 IoTDB 是 Apache 基金会时序数据领域第一个 Top-Level 项目,其核心团队成立了天谋科技(北京)有限公司(以下简称'天谋科技'),专注 IoTDB 产品的打磨。
2.2 核心功能与技术架构
IoTDB 提供数据采集工具,可对接多类协议,底层为纯自研列式存储文件系统 TsFile,在此基础上设计存储、查询计算、流处理、分析引擎,以及系统管理模块与多种应用工具,并支持对接大数据生态,与单机版、分布式版、双活版等多类形态部署。
通过多项自研技术创新成果,IoTDB 在不依赖第三方系统的情况下,可以实现高吞吐、高压缩、高可用的性能表现,并建立了物联网场景时序数据横向与纵向解决方案。
2.3 横向与纵向解决方案
-
横向解决方案:以 IoTDB 为时序数据系统内核,通过其优异的存、读、写能力,上游对接多类采集协议,下游对接多类数据分析处理平台,可支持时序数据单平台采集、存储、计算、管理、应用全流程。
-
纵向解决方案:将 IoTDB 部署于多个平台,实现跨厂、跨车间应用,IoTDB 强大的数据同步能力与简便的数据同步机制,可支持跨平台端(设备侧/车间侧)、边(厂侧)、云(集团侧)数据协同。
三、IoTDB 七大功能特性
IoTDB 能够实现稳定、高效、易用的时序数据管理方案,在国际数据库基准测试性能排行榜 benchANT 中,IoTDB 的读、写、压缩指标均排名第一。其功能特性可简单归结为'管得好、接得住、存得下、处理强、实时性、智能性、协同性'七个词。
3.1 管得好:基于业务,便捷建模
物联网场景中产线、设备产生的 BOM 数据是按照层级,彼此关联起来的。IoTDB 实现了树形时序数据模型,能够直观地与 BOM 数据进行对应。同时对于需要新增或变更的设备,也能够做到自动化同步,有效降低了时序数据管理与运维的成本。
IoTDB 自研的基于 PBTree 的元数据管理模型,可以实现亿级的时间序列管理规模,并降低数据冗余,能够通过高效的元数据存储提高 IoTDB 管理的数据质量。在树形模型基础上,IoTDB 可以对序列级的权限进行更好的控制,比如可以为集团级、工厂级、产线级数据设置不同的权限范围,进而达到多层级数据高效管理的目的。
3.2 接得住:高频数据、乱序数据高写入
-
高频数据写入:传统时序数据库一般因为采用行式数据写入,只能支持到秒级数据接入。IoTDB 通过底层文件 TsFile 支持的列式数据写入,达到毫秒级的数据接入,相比竞品有 10 倍的性能优势。
-
乱序数据写入:乱序数据在实际场景中非常常见,IoTDB 首创了乱序分离存储引擎,用独有的顺乱序判断机制,将顺序数据与乱序数据分开,并通过多种空间合并的方法,消除乱序数据。IoTDB 的乱序数据处理效率可以达到竞品的 4 倍以上。


