OpenTenBase 企业级分布式 HTAP 数据库部署全攻略
OpenTenBase 是腾讯开源的分布式 HTAP 数据库。文章详解其架构组成、环境准备、源码编译安装及集群配置流程。涵盖 Coordinator 与 Datanode 节点部署、分片策略选择、性能调优参数设置及故障排查方法。通过 Prometheus 监控方案实现运维可视化,确保企业级高可用与扩展性。适用于需要强一致性与横向扩展能力的业务场景。

OpenTenBase 是腾讯开源的分布式 HTAP 数据库。文章详解其架构组成、环境准备、源码编译安装及集群配置流程。涵盖 Coordinator 与 Datanode 节点部署、分片策略选择、性能调优参数设置及故障排查方法。通过 Prometheus 监控方案实现运维可视化,确保企业级高可用与扩展性。适用于需要强一致性与横向扩展能力的业务场景。

OpenTenBase 采用了典型的分布式数据库架构,主要由以下三个核心组件构成:
OpenTenBase 支持多种分片策略,每种策略都有其适用场景:
| 分片策略 | 适用场景 | 优势 | 劣势 | 推荐指数 |
|---|---|---|---|---|
| Hash 分片 | 均匀分布的 OLTP 负载 | 数据分布均匀,查询性能稳定 | 范围查询性能较差 | ⭐⭐⭐⭐⭐ |
| Range 分片 | 时序数据,需要范围查询 | 范围查询性能优秀 | 可能产生热点 | ⭐⭐⭐⭐ |
| List 分片 | 按业务维度分片 | 业务逻辑清晰 | 维护复杂度高 | ⭐⭐⭐ |
在实际部署过程中,建议按照以下配置来规划硬件资源:
基础系统参数优化是确保 OpenTenBase 稳定运行的关键:
# 系统内核参数优化
cat >> /etc/sysctl.conf << EOF
# 内存管理
vm.swappiness = 10
vm.dirty_background_ratio = 3
vm.dirty_ratio = 10
vm.overcommit_memory = 2
vm.overcommit_ratio = 90
# 网络参数
net.core.rmem_max = 134217728
net.core.wmem_max = 134217728
net.ipv4.tcp_rmem = 4096 87380 134217728
net.ipv4.tcp_wmem = 4096 65536 134217728
# 文件句柄限制
fs.file-max = 6815744
EOF
# 应用系统参数
sysctl -p
关键配置说明:
vm.swappiness = 10:减少 swap 使用,提高数据库性能完整的安装部署流程包括环境准备、源码编译、集群配置及初始化。
gcc make readline-devel zlib-devel openssl-devel uuid-devel bison flex git libcurl-devel libxml2-devel libxslt-devel perl-IPC-Run perl-Test-Simple tcl-devel python3-devel rpm-build pkgconfig krb5-devel openldap-devel
由于 OpenCloudOS 支持 dnf 和 yum 两种包管理软件,推荐使用 dnf:
# 更新系统
sudo dnf update -y
# 安装 OpenTenBase 编译依赖
sudo dnf install -y \
gcc \
gcc-c++ \
make \
cmake \
readline-devel \
zlib-devel \
openssl-devel \
uuid-devel \
bison \
flex \
git \
libcurl-devel \
libxml2-devel \
libxslt-devel \
perl-IPC-Run \
perl-Test-Simple \
tcl-devel \
python3-devel \
rpm-build \
pkgconfig \
krb5-devel \
openldap-devel
所有需要安装 OpenTenBase 集群的机器都需要创建专用用户:
# 创建数据目录
sudo mkdir /data
# 创建 opentenbase 用户
sudo useradd -d /data/opentenbase -s /bin/bash -m opentenbase
# 设置密码
sudo passwd opentenbase
su - opentenbase
cd /data/opentenbase
git clone https://gitee.com/mirrors/OpenTenBase.git
# 设置环境变量
export SOURCECODE_PATH=/data/opentenbase/OpenTenBase
export INSTALL_PATH=/data/opentenbase/install
# 进入源码目录
cd ${SOURCECODE_PATH}
# 配置编译选项
chmod +x configure*
# 重新配置,添加 SSE4.2 支持
CFLAGS="-g -O2 -w -msse4.2 -mcrc32" \
CXXFLAGS="-g -O2 -w -msse4.2 -mcrc32" \
./configure --prefix=/data/opentenbase/install/opentenbase_bin_v2.0 \
--enable-user-switch \
--with-openssl \
--with-ossp-uuid \
--with-libxml
# 编译
make
make install
# 编译 contrib 模块
chmod +x contrib/pgxc_ctl/make_signature
cd contrib
make
make install
# 编辑 bashrc 文件
vim ~/.bashrc
# 添加以下内容:
export OPENTENBASE_HOME=/data/opentenbase/install/opentenbase_bin_v2.0
export PATH=$OPENTENBASE_HOME/bin:$PATH
export LD_LIBRARY_PATH=$OPENTENBASE_HOME/lib:${LD_LIBRARY_PATH}
export LC_ALL=C
# 生效环境变量
source ~/.bashrc
mkdir /data/opentenbase/pgxc_ctl
cd /data/opentenbase/pgxc_ctl
cat > /data/opentenbase/install/opentenbase_bin_v2.0/pgxc_ctl.conf << 'EOF'
#!/usr/bin/env bash
#---- OVERALL -----------------------------------------------------------------------------
pgxcOwner=opentenbase
pgxcUser=$pgxcOwner
tmpDir=/tmp
localTmpDir=$tmpDir
configBackup=y
configBackupHost=localhost
configBackupDir=$HOME/pgxc
configBackupFile=pgxc_ctl.bak
#---- GTM --------------------------------------------------------------------------------
gtmName=gtm
gtmMasterServer=localhost
gtmMasterPort=6666
gtmMasterDir=/data/opentenbase/data/gtm
gtmExtraConfig=none
gtmMasterSpecificExtraConfig=none
gtmSlave=n
gtmSlaveName=gtmSlave
gtmSlaveServer=none
gtmSlavePort=20001
gtmSlaveDir=none
gtmSlaveSpecificExtraConfig=none
gtmProxy=n
gtmProxyNames=()
gtmProxyServers=()
gtmProxyPorts=()
gtmProxyDirs=()
gtmPxyExtraConfig=none
gtmPxySpecificExtraConfig=()
#---- Coordinators --------------------------------------------------------------------
coordMasterDir=/data/opentenbase/data/coord_master
coordSlaveDir=/data/opentenbase/data/coord_slave
coordArchLogDir=/data/opentenbase/data/coord_archlog
coordNames=(cn001)
coordPorts=(30004)
poolerPorts=(30014)
coordForwardPorts=(30024)
coordPgHbaEntries=(0.0.0.0/0)
coordMasterServers=(localhost)
coordMasterDirs=(/data/opentenbase/data/coord_master/cn001)
coordMaxWALsender=5
coordMaxWALSenders=(5)
coordSlave=n
coordSlaveSync=n
coordSlaveServers=(none)
coordSlavePorts=(30005)
coordSlavePoolerPorts=(30015)
coordSlaveForwardPorts=(30025)
coordSlaveDirs=(none)
coordArchLogDirs=(none)
coordExtraConfig=none
coordSpecificExtraConfig=(none)
coordSpecificExtraPgHba=(none)
#---- Datanodes -----------------------------------------------------------------------
datanodeMasterDir=/data/opentenbase/data/dn_master
datanodeSlaveDir=/data/opentenbase/data/dn_slave
datanodeArchLogDir=/data/opentenbase/data/datanode_archlog
primaryDatanode=dn001
datanodeNames=(dn001)
datanodePorts=(20008)
datanodePoolerPorts=(20018)
datanodeForwardPorts=(20028)
datanodePgHbaEntries=(0.0.0.0/0)
datanodeMasterServers=(localhost)
datanodeMasterDirs=(/data/opentenbase/data/dn_master/dn001)
datanodeMaxWalSender=5
datanodeMaxWALSenders=(5)
datanodeSlave=n
datanodeSlaveServers=(none)
datanodeSlavePorts=(20009)
datanodeSlavePoolerPorts=(20019)
datanodeSlaveForwardPorts=(20029)
datanodeSlaveDirs=(none)
datanodeArchLogDirs=(none)
datanodeExtraConfig=none
datanodeSpecificExtraConfig=(none)
datanodeSpecificExtraPgHba=(none)
walArchive=n
EOF
# 检查配置文件语法
bash -n /data/opentenbase/install/opentenbase_bin_v2.0/pgxc_ctl.conf
echo "语法检查结果:$?"
# 生成 SSH 密钥(如果还没有)
if [ ! -f ~/.ssh/id_rsa ]; then
ssh-keygen -t rsa -N "" -f ~/.ssh/id_rsa
fi
# 配置本地免密登录
ssh-copy-id opentenbase@localhost
# 或者手动添加
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
# 启动 pgxc_ctl 工具
pgxc_ctl
# 在 pgxc_ctl 命令行中执行:
deploy all
init all
# 在 pgxc_ctl 中检查集群状态
monitor all
正常情况下应该显示:
Running: gtm master
Running: coordinator master cn001
Running: datanode master dn001
psql -h localhost -p 30004 -d postgres -U opentenbase
-- 创建默认节点组
CREATE DEFAULT NODE GROUP default_group WITH (dn001);
-- 创建分片组
CREATE SHARDING GROUP TO GROUP default_group;
-- 创建测试数据库
CREATE DATABASE testdb;
-- 创建用户
CREATE USER testuser WITH PASSWORD 'testpass';
-- 授权
ALTER DATABASE testdb OWNER TO testuser;
-- 切换到测试数据库
\c testdb testuser
-- 创建分片表
CREATE TABLE test_table(
id BIGINT,
name TEXT,
created_time TIMESTAMP DEFAULT NOW()
) DISTRIBUTE BY SHARD(id);
-- 插入测试数据
INSERT INTO test_table(id, name) VALUES (1, 'OpenTenBase'), (2, 'TencentCloud'), (3, 'OpenCloudOS');
-- 查询测试
SELECT * FROM test_table;
# 启动集群
pgxc_ctl start all
# 停止集群
pgxc_ctl stop all
# 清理集群(重新初始化时使用)
pgxc_ctl clean all
# 查看 pgxc_ctl 日志
ls ~/pgxc_ctl/pgxc_log/
cat ~/pgxc_ctl/pgxc_log/最新的日志文件
# 查看各组件日志
ls /data/opentenbase/data/gtm/pg_log/
ls /data/opentenbase/data/coord/pg_log/
ls /data/opentenbase/data/dn001/pg_log/
根据服务器配置调整 postgresql.conf 中的内存参数:
shared_buffers = 25% of RAM
effective_cache_size = 75% of RAM
work_mem = 4MB
maintenance_work_mem = 64MB
max_connections = 200
max_pool_size = 1000
log_min_duration_statement = 1000
log_line_prefix = '%t [%p]: [%l-1] user=%u,db=%d,app=%a,client=%h '
log_checkpoints = on
log_connections = on
log_disconnections = on
OpenTenBase 作为开源的分布式 HTAP 数据库,在功能完整性、性能表现和运维便利性方面都达到了企业级应用的要求。其优秀的 PostgreSQL 兼容性让迁移工作变得相对简单,特别是在处理复杂的 OLAP 查询时展现出了远超传统单机数据库的处理能力。分布式弹性扩展设计优雅,支持在线扩容,对业务影响降至最低。配合 Prometheus + Grafana 监控体系,能够及时发现性能瓶颈和潜在问题。

微信公众号「极客日志」,在微信中扫描左侧二维码关注。展示文案:极客日志 zeeklog
在线格式化和美化您的 SQL 查询(它支持各种 SQL 方言)。 在线工具,SQL 美化和格式化在线工具,online
解析 INSERT 等受限 SQL,导出为 CSV、JSON、XML、YAML、HTML 表格(见页内语法说明)。 在线工具,SQL转CSV/JSON/XML在线工具,online
CSV 与 JSON/XML/HTML/TSV/SQL 等互转,单页多 Tab。 在线工具,CSV 工具包在线工具,online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具,Base64 字符串编码/解码在线工具,online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具,Base64 文件转换器在线工具,online
将 Markdown(GFM)转为 HTML 片段,浏览器内 marked 解析;与 HTML转Markdown 互为补充。 在线工具,Markdown转HTML在线工具,online