Hive 多租户管理：企业级部署方案

1.3 核心结论

企业级 Hive 多租户的四大支柱是：

1. 元数据隔离（让租户'看不见'彼此的表）；
2. 资源隔离（让租户'抢不到'彼此的资源）；
3. 数据权限（让租户'碰不到'不该碰的数据）；
4. 存储隔离（让租户'拿不到'彼此的文件）。

架构设计：企业级 Hive 多租户的'骨架'

在开始写代码前，我们需要先明确企业级 Hive 多租户的整体架构——它不是'加几个配置项'，而是一套'从元数据到存储的全链路隔离体系'。

2.1 整体架构图

下面这张图是企业级多租户的'标准骨架'，涵盖了5 大核心层：

graph TD A[租户用户/应用] --> B[权限网关（Ranger/Sentry）]
B --> C[HiveServer2 集群]
C --> D[元数据层（Metastore + Catalog）]
C --> E[计算层（YARN 队列调度）]
C --> F[存储层（HDFS 目录隔离）]
D --> G[元数据存储（MySQL 集群）]
E --> H[计算节点（NodeManager）]
F --> I[HDFS 集群]
J[运维监控（Grafana/ELK）] --> C
J --> D
J --> E

2.2 各层的'职责'

我们用'写字楼'的类比再解释一遍各层的作用：

2.3 设计原则

在搭建架构时，需要遵守3 条企业级原则：

1. '最小权限'原则：用户只能拿到'完成工作必须的权限'（比如分析师只能查，不能删表）；
2. '动态可扩展'原则：新增租户时，不需要修改核心配置（比如用 Catalog 快速创建租户元数据）；
3. '可回溯'原则：所有操作都要有日志（比如谁查了财务表、什么时候查的）。

核心模块实现：从 0 到 1 搭建多租户

接下来我们进入实战环节——逐个实现架构中的核心模块。

3.1 模块 1：元数据隔离——用 Catalog 解决'表名冲突'

元数据是 Hive 的'灵魂'（存储了表的结构、位置、分区信息），多租户的第一步，是让不同租户的元数据'互不干扰'。

3.1.1 什么是'Catalog'？

Hive 3.x 引入了Catalog（目录）的概念，它相当于'元数据的命名空间'——每个 Catalog 对应一个独立的 Metastore 数据库，不同 Catalog 的表名可以重复。

类比：Catalog 就像'写字楼的楼层'——1 楼是用户部，2 楼是订单部，3 楼是市场部，每个楼层的'办公室编号'（表名）可以重复（比如 1 楼有 101 室，2 楼也有 101 室）。

3.1.2 实现步骤：创建多租户 Catalog

我们以'用户部'和'订单部'为例，演示如何创建 Catalog：

步骤 1：准备元数据存储

首先，我们需要为每个租户的 Catalog单独创建 MySQL 数据库（避免元数据混在一起）：

-- 为用户部创建元数据库
CREATE DATABASE IF NOT EXISTS user_catalog_db DEFAULT CHARACTER SET utf8mb4 DEFAULT COLLATE utf8mb4_unicode_ci;

-- 为订单部创建元数据库
CREATE DATABASE IF NOT EXISTS order_catalog_db DEFAULT CHARACTER SET utf8mb4 DEFAULT COLLATE utf8mb4_unicode_ci;

步骤 2：配置 Metastore 的 Catalog

接下来，我们需要在Metastore 集群中配置 Catalog（Metastore 是元数据的'服务端'，HiveServer2 通过它访问元数据）。

修改 Metastore 的 hive-site.xml，添加以下配置：

<!-- 开启 Catalog 功能 -->
<property>
    <name>hive.support.concurrency</name>
    <value>true</value>
</property>

<!-- 用户部 Catalog 配置 -->
<property>
    <name>hive.catalog.user_catalog.type</name>
    <value>hive</value>
</property>
<property>
    <name>hive.catalog.user_catalog.metastore.uris</name>
    <value>thrift://metastore-01:9083</value>
</property>