在实际使用中,我们持续关注社区用户的反馈与场景。本次 qData 数据中台开源版 1.1.2 围绕数据源扩展、数据质量能力增强、数据集成易用性提升三个方向进行了集中优化,并修复了若干已知问题。
更新背景
Apache Doris 使用频率上升
Apache Doris 作为高性能分析型数据库,在实时数仓与分析场景中应用广泛。因此,qData 开源版在本次版本中正式将 Apache Doris 纳入核心数据源体系,实现多模块全面支持。
数据稽查规则持续扩展
随着数据质量治理场景的丰富,原有稽查规则已无法覆盖全部业务需求。本次更新对稽查规则进行了扩展,增强了对时间逻辑、字段完整性等典型场景的支持。
数据集成转换能力增强
用户对灵活处理数据的需求越来越高。1.1.2 版本新增多种常用转换组件,让数据处理过程更加顺手、直观。
社区反馈问题修复
感谢社区用户的持续反馈,本次版本同步修复了多个已在社区提交的 Bug,进一步提升了系统稳定性与使用体验。
核心更新内容
Apache Doris 数据源全面支持
本次更新中,qData 开源版已在多个核心模块中支持 Apache Doris 数据源:
- 数据连接:新增 Apache Doris 数据源类型,支持统一配置与管理
- 数据查询:支持基于 Apache Doris 的数据查询能力
- 数据集成任务:表输入组件和表输出组件均支持 Apache Doris
这意味着用户可以在 qData 开源版中完成从 Doris 到 Doris、或 Doris 与其他数据源之间的数据集成与治理,覆盖更多实时分析与数仓场景。
新增数据稽查规则
为满足更复杂的数据质量校验需求,本次新增以下两类稽查规则:
时间字段顺序逻辑校验
检查多个时间字段之间是否存在逻辑上的先后关系,适用于开始/结束时间、创建/更新时间、业务流程时间链路校验等场景。
字段组完整性校验
校验字段组合在全表范围内是否唯一,常用于联合主键校验、业务唯一性约束检测。
新增数据转换组件
在数据集成任务中,1.1.2 版本新增多种高频使用的转换组件:
- 去除重复记录组件:支持基于指定字段进行去重处理
- 常量转换组件:为字段赋固定值,简化规则类处理逻辑
- 字段选择 / 修改组件:灵活控制字段的保留、重命名、调整
- 值映射组件:支持将字段值按规则进行映射转换,适用于编码转换、状态值标准化等场景
这些组件的加入,使得数据集成任务在不依赖外部 ETL 工具的情况下,也能完成更复杂的数据加工逻辑。
社区 Bug 修复
本次版本同步修复了以下社区已反馈问题:
- 数据质量模块:字段字符类型校验在配置后,监测按钮与抽查、任务执行时的正则执行方式不一致的问题
- 系统界面:顶部菜单中,当消息提醒设置为'全部已读'时页面异常的问题
感谢社区用户的积极反馈,帮助 qData 变得更稳定、更好用。


