qData 数据中台开源版 1.1.2 版本更新公告:新增 Apache Doris 数据源全面支持,稽查规则与转换组件持续完善

qData 数据中台开源版 1.1.2 版本更新公告:新增 Apache Doris 数据源全面支持,稽查规则与转换组件持续完善

在数据中台的实际使用过程中,我们持续关注社区用户的真实反馈与使用场景。
本次 qData 数据中台开源版 1.1.2 更新,围绕 数据源扩展、数据质量能力增强、数据集成易用性提升 三个方向进行了集中优化,并修复了社区中反馈的若干问题。

下面为大家带来本次版本的详细更新说明 👇


一、更新背景

1️⃣ Apache Doris 使用频率持续上升

在社区和用户实践中,我们发现 Apache Doris 作为高性能分析型数据库,被广泛应用于实时数仓与分析场景。
因此,qData 开源版在本次版本中正式将 Apache Doris 纳入核心数据源体系,并实现多模块全面支持。

2️⃣ 数据稽查规则持续扩展

随着数据质量治理场景的不断丰富,原有稽查规则已无法覆盖全部业务需求。
本次更新对稽查规则进行了扩展,增强了对时间逻辑、字段完整性等典型场景的支持。

3️⃣ 数据集成转换能力进一步增强

在数据集成任务中,用户对“灵活处理数据”的需求越来越高。
因此,1.1.2 版本新增多种常用转换组件,让数据处理过程更加顺手、直观。

4️⃣ 社区反馈问题集中修复

感谢社区用户的持续反馈 🙌
本次版本同步修复了多个已在社区提交的 Bug,进一步提升了系统稳定性与使用体验。


二、核心更新内容一览

1️⃣ Apache Doris 数据源全面支持

本次更新中,qData 开源版已在多个核心模块中支持 Apache Doris 数据源:

  • 数据连接
    • 新增 Apache Doris 数据源类型,支持统一配置与管理
  • 数据查询
    • 支持基于 Apache Doris 的数据查询能力
  • 数据集成任务
    • 表输入组件支持 Apache Doris
    • 表输出组件支持 Apache Doris

这意味着,用户可以在 qData 开源版中完成 从 Doris 到 Doris、或 Doris 与其他数据源之间的数据集成与治理,覆盖更多实时分析与数仓场景。


2️⃣ 新增数据稽查规则

为满足更复杂的数据质量校验需求,本次新增以下两类稽查规则:

✅ 时间字段顺序逻辑校验
  • 检查多个时间字段之间是否存在逻辑上的先后关系
  • 适用于:
    • 开始时间 / 结束时间
    • 创建时间 / 更新时间
    • 业务流程时间链路校验等场景
✅ 字段组完整性校验
  • 校验字段组合在全表范围内是否唯一
  • 常用于:
    • 联合主键校验
    • 业务唯一性约束检测

3️⃣ 新增数据转换组件

在数据集成任务中,1.1.2 版本新增多种高频使用的转换组件:

  • 去除重复记录组件
    • 支持基于指定字段进行去重处理
  • 常量转换组件
    • 为字段赋固定值,简化规则类处理逻辑
  • 字段选择 / 修改组件
    • 灵活控制字段的保留、重命名、调整
  • 值映射组件
    • 支持将字段值按规则进行映射转换
    • 适用于编码转换、状态值标准化等场景

这些组件的加入,使得数据集成任务在不依赖外部 ETL 工具的情况下,也能完成更复杂的数据加工逻辑。


4️⃣ 社区 Bug 修复

本次版本同步修复了以下社区已反馈问题:

感谢社区用户的积极反馈,帮助 qData 变得更稳定、更好用 ❤️


三、版本总结

qData 数据中台开源版 1.1.2 版本是一次围绕“实用性与易用性”的稳步迭代:

  • Apache Doris 正式成为一等公民数据源
  • 数据质量稽查能力进一步完善
  • 数据集成转换更加灵活高效
  • 社区反馈问题得到及时响应和修复

未来,qData 也将继续以社区需求为导向,持续打磨数据中台能力,欢迎大家继续参与共建与交流。

Read more

将openclaw接入飞书:10分钟,让你的AI员工直接操作你的文档和表格!

将openclaw接入飞书:10分钟,让你的AI员工直接操作你的文档和表格!

上一篇,我们给小龙虾接了 Telegram,实现了手机遥控。 但说实话,Telegram 只解决了"能聊天"的问题。你跟小龙虾说"帮我写个文档",它写完了——然后呢?你还得自己复制粘贴到你的编辑器中。 这就像请了个助手,他只能站在门外隔着门跟你喊话,但不能进屋帮你干活。 今天这篇,我们把门打开。让小龙虾直接进入你的飞书——读文档、写文档、操作表格、管理日程,全部自己来。 先看效果👇 飞书的配置比 Telegram 多一些步骤,但别慌——跟着我走,每一步都有截图,大概10分钟搞定。 飞书的接入分四个阶段,先有个全局概念,不容易迷路: 1. 在飞书上造一个机器人 — 相当于给小龙虾办一张飞书工牌 2. 在服务器上装飞书插件 — 让小龙虾学会"说飞书的语言" 3.

By Ne0inhk
【Java 开发日记】阻塞队列有哪些?拒绝策略有哪些?

【Java 开发日记】阻塞队列有哪些?拒绝策略有哪些?

目录 阻塞队列有哪些? 拒绝策略有哪些? 面试回答 阻塞队列有哪些? 在Java的java.util.concurrent包里面,阻塞队列的实现挺多的,我们可以根据它的功能和结构来记,主要分这么几类: 1. 按容量划分: * 有界队列: 就是队列有固定的容量。 * ArrayBlockingQueue: 最经典的一个,底层是数组,创建时必须指定大小。它的生产和消费用同一把锁,性能相对稳定。 * LinkedBlockingQueue: 底层是链表,它既可以是有界的(构造时指定容量),也可以默认是无界的(默认是Integer.MAX_VALUE,几乎相当于无界)。它的生产和消费用了两把锁,在高并发场景下吞吐量通常比ArrayBlockingQueue更高。 * 无界队列: 理论上是无限的,只要内存够就能一直放。 * PriorityBlockingQueue: 一个支持优先级排序的无界队列。元素必须实现Comparable接口,或者构造时传入Comparator。它出队的顺序是按优先级来的,不是先进先出 * DelayQueue: 一个很特殊的队

By Ne0inhk
深入浅出Java Condition 的await和signal机制(一)

深入浅出Java Condition 的await和signal机制(一)

每个对象都可以调用 Object 的 wait/notify 方法来实现等待/通知机制。而 Condition 接口也提供了类似的方法。Condition 接口一共提供了以下 7 个方法: * await():线程等待直到被通知或者中断。类似于 Object.wait()。 * awaitUninterruptibly():线程等待直到被通知,即使在等待时被中断也不会返回。没有与之对应的 Object 方法。 * await(long time, TimeUnit unit):线程等待指定的时间,或被通知,或被中断。类似于 Object.wait(long timeout),但提供了更灵活的时间单位。 * awaitNanos(long nanosTimeout):线程等待指定的纳秒时间,或被通知,或被中断。没有与之对应的 Object 方法。 * awaitUntil(Date

By Ne0inhk
Java 大视界 -- 基于 Java 的大数据实时流处理在工业物联网设备状态监测中的应用与挑战

Java 大视界 -- 基于 Java 的大数据实时流处理在工业物联网设备状态监测中的应用与挑战

Java 大视界 -- 基于 Java 的大数据实时流处理在工业物联网设备状态监测中的应用与挑战 * 引言 * 正文 * 一、工业物联网设备状态监测概述 * 二、基于 Java 的大数据实时流处理技术 * 2.1 技术架构与原理 * 2.2 状态管理与故障恢复 * 三、应用案例分析 * 四、引入边缘计算优化架构 * 五、面临的挑战与应对策略 * 5.1 数据质量问题 * 5.2 系统性能瓶颈 * 5.3 安全与隐私保护 * 结束语 * 🗳️参与投票和联系我: 引言 亲爱的 Java 和 大数据爱好者们,大家好!在科技引领产业变革的时代,大数据技术已成为推动各行业智能化转型的核心引擎。此前,我们通过一系列文章,深入探讨了 Java 大数据在金融、

By Ne0inhk