Apache IoTDB 架构特性与 Prometheus+Grafana 监控体系部署实践

Apache IoTDB 架构特性与 Prometheus+Grafana 监控体系部署实践

Apache IoTDB 架构特性与 Prometheus+Grafana 监控体系部署实践

文章目录

在这里插入图片描述

Apache IoTDB 核心特性与价值

在这里插入图片描述
Apache IoTDB 专为物联网场景打造的高性能轻量级时序数据库,以 “设备 - 测点” 原生数据模型贴合物理设备与传感器关系,通过高压缩算法、百万级并发写入能力和毫秒级查询响应优化海量时序数据存储成本与处理效率,同时支持边缘轻量部署、云端集群扩展及边缘 - 云端协同,为工业物联网、智能城市、车联网等场景提供全生命周期的数据存储、查询与分析解决方案

物联网原生优化:采用 “设备 - 测点” 数据模型,完美映射物理设备与传感器关系,配合标签机制支持多维度分析,贴合物联网实际业务场景

极致性能表现:通过特殊编码算法实现 10:1~20:1 的高压缩率,同时支持每秒数百万条数据的并发写入和毫秒级时序查询响应,平衡存储成本与处理效率

全场景部署能力:轻量设计可运行于边缘设备,分布式架构支持云端集群扩展,兼容边缘 - 云端协同存储,适配从边缘到云端的全场景物联网部署需求

Apache IoTDB 监控面板完整部署方案

安装步骤
步骤一:IoTDB开启监控指标采集
打开监控配置项。IoTDB中监控有关的配置项默认是关闭的,在部署监控面板前,您需要打开相关配置项(注意开启监控配置后需要重启服务)
配置项所在配置文件配置说明
cn_metric_reporter_listconf/iotdb-system.properties将配置项取消注释,值设置为PROMETHEUS
cn_metric_levelconf/iotdb-system.properties将配置项取消注释,值设置为IMPORTANT
cn_metric_prometheus_reporter_portconf/iotdb-system.properties将配置项取消注释,可保持默认设置9091,如设置其他端口,不与其他端口冲突即可
dn_metric_reporter_listconf/iotdb-system.properties将配置项取消注释,值设置为PROMETHEUS
dn_metric_levelconf/iotdb-system.properties将配置项取消注释,值设置为IMPORTANT
dn_metric_prometheus_reporter_portconf/iotdb-system.properties将配置项取消注释,可默认设置为9092,如设置其他端口,不与其他端口冲突即可
以3C3D集群为例,需要修改的监控配置如下
节点ip主机名集群角色配置文件路径配置项
192.168.1.3iotdb-1confignodeconf/iotdb-system.propertiescn_metric_reporter_list=PROMETHEUS cn_metric_level=IMPORTANT cn_metric_prometheus_reporter_port=9091
192.168.1.4iotdb-2confignodeconf/iotdb-system.propertiescn_metric_reporter_list=PROMETHEUS cn_metric_level=IMPORTANT cn_metric_prometheus_reporter_port=9091
192.168.1.5iotdb-3confignodeconf/iotdb-system.propertiescn_metric_reporter_list=PROMETHEUS cn_metric_level=IMPORTANT cn_metric_prometheus_reporter_port=9091
192.168.1.3iotdb-1datanodeconf/iotdb-system.propertiesdn_metric_reporter_list=PROMETHEUS dn_metric_level=IMPORTANT dn_metric_prometheus_reporter_port=9092
192.168.1.4iotdb-2datanodeconf/iotdb-system.propertiesdn_metric_reporter_list=PROMETHEUS dn_metric_level=IMPORTANT dn_metric_prometheus_reporter_port=9092
192.168.1.5iotdb-3datanodeconf/iotdb-system.propertiesdn_metric_reporter_list=PROMETHEUS dn_metric_level=IMPORTANT dn_metric_prometheus_reporter_port=9092
重启所有节点。修改3个节点的监控指标配置后,可重新启动所有节点的confignode和datanode服务
./sbin/stop-standalone.sh #先停止confignode和datanode ./sbin/start-confignode.sh -d #启动confignode ./sbin/start-datanode.sh -d #启动datanode
重启后,通过客户端确认各节点的运行状态,若状态都为Running,则为配置成功
步骤二:安装、配置Prometheus
下载 Prometheus 安装包,要求安装 V2.30.3 版本及以上,可前往 Prometheus 官网下载,解压安装包,进入解压后的文件夹
tar xvfz prometheus-*.tar.gz cd prometheus-* 
修改配置。修改配置文件prometheus.yml如下新增confignode任务收集ConfigNode的监控数据新增datanode任务收集DataNode的监控数据
global: scrape_interval: 15s evaluation_interval: 15s scrape_configs: - job_name: "prometheus" static_configs: - targets: ["localhost:9090"] - job_name: "confignode" static_configs: - targets: ["iotdb-1:9091","iotdb-2:9091","iotdb-3:9091"] honor_labels: true - job_name: "datanode" static_configs: - targets: ["iotdb-1:9092","iotdb-2:9092","iotdb-3:9092"] honor_labels: true
启动Prometheus。Prometheus 监控数据的默认过期时间为15天,在生产环境中,建议将其调整为180天以上,以对更长时间的历史监控数据进行追踪,启动命令如下所示
./prometheus --config.file=prometheus.yml --storage.tsdb.retention.time=180d 
确认启动成功,进入Prometheus,点击进入Status下的Target界面,当看到State均为Up时表示配置成功并已经联通
在这里插入图片描述
点击Targets中左侧链接可以跳转到网页监控,查看相应节点的监控信息
在这里插入图片描述
步骤三:安装grafana并配置数据源
下载 Grafana 安装包,要求安装 V8.4.2 版本及以上,可以前往Grafana官网下载,解压并进入对应文件夹
tar -zxvf grafana-*.tar.gz cd grafana-* 
启动Grafana
./bin/grafana-server web 
登录Grafana,进入Grafana,默认初始用户名和密码均为 admin。

配置数据源。在Connections中找到Data sources,新增一个data source并配置Data Source为Prometheus
在这里插入图片描述
步骤四:导入IoTDB Grafana看板
进入Grafana,选择Dashboards
在这里插入图片描述
点击右侧 Import 按钮
在这里插入图片描述
使用upload json file的方式导入Dashboard
在这里插入图片描述
选择IoTDB监控面板中其中一个面板的json文件,这里以选择 Apache IoTDB ConfigNode Dashboard为例
在这里插入图片描述
选择数据源为Prometheus,然后点击Import
在这里插入图片描述
之后就可以看到导入的Apache IoTDB ConfigNode Dashboard监控面板
在这里插入图片描述
同样地,我们可以导入Apache IoTDB DataNode Dashboard、Apache Performance Overview Dashboard、Apache System Overview Dashboard,可看到如下的监控面板
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
至此,IoTDB监控面板就全部导入完成了,现在可以随时查看监控信息了
在这里插入图片描述

TimechoDB(基于 Apache IoTDB)增强特性

在这里插入图片描述
TimechoDB 国产自研高性能时序数据库,核心团队源于清华大学,自主研发积累深厚,多项发明专利与顶会论文为技术支撑,通过工信部信创测评,适配信创生态,性能经 TPx - IoT 国际榜单验证达国际领先水平 ,成本把控上大幅降低存储与运维成本,借助云边协同节省网络带宽、接收端 CPU 等资源;原厂团队提供企业级技术支持与可视化工具,提升使用便捷性;超 40 项国产 CPU、OS 兼容认证,集成多类大数据系统,构建稳定全流程方案,助力各行业高效运用时序数据

端边云数据协同:支持设备端、边缘、云端数据高效流转,适配多场景部署,实现数据分层处理与协同管理

性能无瓶颈:高并发写入(百万级设备)、低延迟查询,经存储与编码优化,平衡读写性能与成本

智能 AI 分析:内置时序大模型(本地微调 / 推理),配 70 + 时序 UDF 函数,覆盖数据处理到智能分析全流程

稳定安全:分布式架构保障高可用,结合权限、加密机制,满足工业场景数据安全与业务连续性需求

运维便捷:可视化工具 + 简化部署,支持集群监控、故障诊断,降低工业环境运维门槛

总结与应用场景建议

在这里插入图片描述
Apache IoTDB 靠 “设备 - 测点” 模型、高压缩率和高并发写入,能搞定物联网从边缘到云端的时序数据存储,适合需要轻量部署的场景;TimechoDB 在此基础上强化了端边云协同、AI 分析和信创适配,更贴合企业级需求。具体用的话,工业物联网存设备传感数据、智能城市降分布式数据带宽成本、车联网存高频车况数据都能用,前者胜在轻量开源,后者适合要国产化和智能分析的场景。

Read more

最新电子电气架构(EEA)调研-3

而新一代的强实时性、高确定性,以及满足CAP定理的同步分布式协同技术(SDCT),可以实现替代TSN、DDS的应用,且此技术已经在无人车辆得到验证,同时其低成本学习曲线、无复杂二次开发工作,将开发人员的劳动强度、学习曲线极大降低,使开发人员更多的去完成算法、执行器功能完善。 五、各大车厂的EEA 我们调研策略是从公开信息中获得各大车厂的EEA信息,并在如下中进行展示。 我们集中了华为、特斯拉、大众、蔚来、小鹏、理想、东风(岚图)等有代表领先性的车辆电子电气架构厂商。        1、华为 图12 华为的CCA电子电气架构              (1)华为“计算+通信”CC架构的三个平台                         1)MDC智能驾驶平台;                         2)CDC智能座舱平台                         3)VDC整车控制平台。        联接指的是华为智能网联解决方案,解决车内、车外网络高速连接问题,云服务则是基于云计算提供的服务,如在线车主服务、娱乐和OTA等。 华

By Ne0inhk
SQL Server 2019安装教程(超详细图文)

SQL Server 2019安装教程(超详细图文)

SQL Server 介绍) SQL Server 是由 微软(Microsoft) 开发的一款 关系型数据库管理系统(RDBMS),支持结构化查询语言(SQL)进行数据存储、管理和分析。自1989年首次发布以来,SQL Server 已成为企业级数据管理的核心解决方案,广泛应用于金融、电商、ERP、CRM 等业务系统。它提供高可用性、安全性、事务处理(ACID)和商业智能(BI)支持,并支持 Windows 和 Linux 跨平台部署。 一、获取 SQL Server 2019 安装包 1. 官方下载方式 前往微软官网注册账号后,即可下载 SQL Server Developer 版本(

By Ne0inhk
【spring02】Spring 管理 Bean-IOC,基于 XML 配置 bean

【spring02】Spring 管理 Bean-IOC,基于 XML 配置 bean

文章目录🌍一. bean 创建顺序🌍二. bean 对象的单例和多例❄️1. 机制❄️2. 使用细节🌍三. bean 的生命周期🌍四. 配置 bean 的后置处理器 【这个比较难】🌍五. 通过属性文件给 bean 注入值🌍六. 基于 XML 的 bean 的自动装配🌍七. spring el 表达式[知道即可] 🙋‍♂️ 作者:@whisperrr.🙋‍♂️ 👀 专栏:spring👀 💥 标题:【spring01】Spring 管理 Bean-IOC,基于 XML 配置 bean💥 ❣️ 寄语:比较是偷走幸福的小偷❣️ 🌍一.

By Ne0inhk