【开源项目推荐】OpenMetadata——基于开放元数据的一体化数据治理平台

【开源项目推荐】OpenMetadata——基于开放元数据的一体化数据治理平台
www.zeeklog.com  - 【开源项目推荐】OpenMetadata——基于开放元数据的一体化数据治理平台

大家好,我是独孤风。

这几年数据治理爆火,但迟迟没有一个优秀的开源数据治理平台的出现。很多公司选择元数据管理平台作为基础,再构建数据质量,数据血缘等工具。

今天为大家推荐的开源项目,是一个一体化的数据治理平台,一个平台解决了大部分问题。让我们一起来看看吧~

OpenMetadata是一个用于数据治理的一体化平台,可以帮助我们发现,协作,并正确的获取数据。

OpenMetadata提供了数据发现、数据血缘、数据质量、数据探查、数据治理和团队协作的一体化平台。它是发展最快的开源项目之一,拥有充满活力的社区,并被各行业垂直领域的众多公司采用。 OpenMetadata 由基于开放元数据标准和API 的集中式元数据存储提供支持,支持各种数据服务的连接器,可实现端到端元数据管理,让您可以自由地释放数据资产的价值。

其UI非常美观,其操作和使用逻辑,也符合业务人员的习惯。

www.zeeklog.com  - 【开源项目推荐】OpenMetadata——基于开放元数据的一体化数据治理平台

该项目的Github地址为:https://github.com/open-metadata/OpenMetadata

目前标星3.2K,最新版本为1.2.3

主要开发语言前端为TS,后端为Java和Python。

可在大数据流动后台回复“OpenMetadata”获取安装包与学习资料。

什么是OpenMetadata?

OpenMetadata 包括以下内容:

元数据模式- 使用类型、实体和实体之间关系的模式定义元数据的核心抽象和词汇。这是开放元数据标准的基础。还支持具有自定义属性的实体和类型的可扩展性。

元数据存储- 存储连接数据资产、用户和工具生成的元数据的元数据图。

元数据 API - 用于生成和使用基于用户界面模式以及工具、系统和服务集成构建的元数据。

摄取框架- 用于集成工具并将元数据摄取到元数据存储的可插入框架,支持大约 55 个连接器。摄取框架支持众所周知的数据仓库,如 Google BigQuery、Snowflake、Amazon Redshift 和 Apache Hive;MySQL、Postgres、Oracle 和 MSSQL 等数据库;Tableau、Superset 和 Metabase 等仪表板服务;消息服务,如 Kafka、Redpanda;以及 Airflow、Glue、Fivetran、Dagster 等管道服务。

www.zeeklog.com  - 【开源项目推荐】OpenMetadata——基于开放元数据的一体化数据治理平台

OpenMetadata 用户界面- 用户发现所有数据并就所有数据进行协作的单一位置。

www.zeeklog.com  - 【开源项目推荐】OpenMetadata——基于开放元数据的一体化数据治理平台

核心功能

  • 数据协作- 通过活动源获取事件通知。使用 webhook 发送警报和通知。添加公告以通知团队即将发生的更改。添加任务以请求描述或术语表术语批准工作流程。添加用户提及并使用对话线程进行协作。
  • 数据质量和分析器- 标准化测试和数据质量元数据。将相关测试分组为测试套件。支持自定义SQL数据质量测试。有一个交互式仪表板可以深入了解详细信息。
  • 数据血缘- 支持丰富的列级沿袭。有效过滤查询以提取沿袭。根据需要手动编辑谱系,并使用无代码编辑器连接实体。
  • 全面的角色和策略- 处理复杂的访问控制用例和分层团队。
  • 连接器- 支持连接到各种数据库、仪表板、管道和消息传递服务的 55 个连接器。
  • 术语表- 添加受控词汇来描述组织内的重要概念和术语。添加词汇表、术语、标签、描述和审阅者。
  • 数据安全- 支持 Google、Okta、自定义 OIDC、Auth0、Azure、Amazon Cognito 和 OneLogin 作为 SSO 的身份提供商。此外,还支持 AWS SSO 和 Google 基于 SAML 的身份验证。

功能展示

请参考大数据流动视频号的功能演示:

如何安装?

OpenMetadata 的安装非常简单,可以使用Docker进行快速的安装,几分钟就可以搞定。

首先查看python版本。

python3 --version

需要python 3.7 3.8 3.9三个版本都可以。

查看docker版本。

docker --version

20.10.0或者更高的版本。

docker compose version

需要docker compose 2.1.1或者更高的版本。

建立文件夹

mkdir openmetadata-docker && cd openmetadata-docker

创建虚拟环境。

python3 -m venv env

虚拟环境生效。

source env/bin/activate

更新pip

pip3 install --upgrade pip setuptools

获取openmetadata配置文件

wget https://github.com/open-metadata/OpenMetadata/releases/download/1.2.2-release/docker-compose.yml

wget https://github.com/open-metadata/OpenMetadata/releases/download/1.2.2-release/docker-compose-postgres.yml

启动容器

docker compose -f docker-compose.yml up --detach

启动postgre

docker compose -f docker-compose-postgres.yml up --detach

随后访问

http://localhost:8585 成功!

www.zeeklog.com  - 【开源项目推荐】OpenMetadata——基于开放元数据的一体化数据治理平台