OpenTenBase 企业级分布式 HTAP 数据库部署实战

关键配置说明：

• vm.swappiness = 10：减少 swap 使用，提高数据库性能。
• 网络缓冲区设置：优化分布式节点间通信。
• 文件句柄限制：支持高并发连接。

安装部署

软件依赖

OpenTenBase 编译需要以下依赖包（推荐使用 dnf 安装）：

sudo dnf install -y \
  gcc \
  gcc-c++ \
  make \
  cmake \
  readline-devel \
  zlib-devel \
  openssl-devel \
  uuid-devel \
  bison \
  flex \
  git \
  libcurl-devel \
  libxml2-devel \
  libxslt-devel \
  perl-IPC-Run \
  perl-Test-Simple \
  tcl-devel \
  python3-devel \
  rpm-build \
  pkgconfig \
  krb5-devel \
  openldap-devel

此外还需要手动编译安装 zstd 和 lz4 压缩库：

# 下载并编译 zstd
cd /tmp
wget https://github.com/facebook/zstd/releases/download/v1.5.2/zstd-1.5.2.tar.gz
tar -xzf zstd-1.5.2.tar.gz
cd zstd-1.5.2
make
sudo make install PREFIX=/usr/local
sudo ldconfig
export PKG_CONFIG_PATH="/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH"

# 下载并编译 lz4
cd /tmp
wget https://github.com/lz4/lz4/archive/v1.9.4.tar.gz
tar -xzf v1.9.4.tar.gz
cd lz4-1.9.4
make
sudo make install PREFIX=/usr/local
sudo ldconfig
export LD_LIBRARY_PATH="/usr/local/lib:$LD_LIBRARY_PATH"

源码编译安装

1. 获取源码

cd /data/opentenbase
git clone https://gitee.com/mirrors/OpenTenBase.git

2. 编译源码

# 设置环境变量
export SOURCECODE_PATH=/data/opentenbase/OpenTenBase
export INSTALL_PATH=/data/opentenbase/install

# 进入源码目录
cd ${SOURCECODE_PATH}
chmod +x configure*

# 重新配置，添加 SSE4.2 支持
CFLAGS="-g -O2 -w -msse4.2 -mcrc32" \
CXXFLAGS="-g -O2 -w -msse4.2 -mcrc32" \
./configure --prefix=/data/opentenbase/install/opentenbase_bin_v2.0 \
--enable-user-switch \
--with-openssl \
--with-ossp-uuid \
--with-libxml

# 编译
make
make install

# 编译 contrib 模块
chmod +x contrib/pgxc_ctl/make_signature
cd contrib
make
make install

集中式单节点集群配置

1. 配置环境变量

编辑 ~/.bashrc 文件，添加以下内容：

export OPENTENBASE_HOME=/data/opentenbase/install/opentenbase_bin_v2.0
export PATH=$OPENTENBASE_HOME/bin:$PATH
export LD_LIBRARY_PATH=$OPENTENBASE_HOME/lib:${LD_LIBRARY_PATH}
export LC_ALL=C

生效环境变量：

source ~/.bashrc

2. 创建集群配置目录

mkdir -p /data/opentenbase/pgxc_ctl
cd /data/opentenbase/pgxc_ctl

3. 创建配置文件

创建 pgxc_ctl.conf 配置文件，注意路径需与实际安装路径一致：

cat > /data/opentenbase/install/opentenbase_bin_v2.0/pgxc_ctl.conf << 'EOF'
#!/usr/bin/env bash
#---- OVERALL -----------------------------------------------------------------------------
pgxcOwner=opentenbase
pgxcUser=$pgxcOwner
tmpDir=/tmp
localTmpDir=$tmpDir
configBackup=y
configBackupHost=localhost
configBackupDir=$HOME/pgxc
configBackupFile=pgxc_ctl.bak
#---- GTM --------------------------------------------------------------------------------
gtmName=gtm
gtmMasterServer=localhost
gtmMasterPort=6666
gtmMasterDir=/data/opentenbase/data/gtm
gtmExtraConfig=none
gtmMasterSpecificExtraConfig=none
gtmSlave=n
gtmSlaveName=gtmSlave
gtmSlaveServer=none
gtmSlavePort=20001
gtmSlaveDir=none
gtmSlaveSpecificExtraConfig=none
gtmProxy=n
gtmProxyNames=()
gtmProxyServers=()
gtmProxyPorts=()
gtmProxyDirs=()
gtmPxyExtraConfig=none
gtmPxySpecificExtraConfig=()
#---- Coordinators --------------------------------------------------------------------
coordMasterDir=/data/opentenbase/data/coord_master
coordSlaveDir=/data/opentenbase/data/coord_slave
coordArchLogDir=/data/opentenbase/data/coord_archlog
coordNames=(cn001)
coordPorts=(30004)
poolerPorts=(30014)
coordForwardPorts=(30024)
coordPgHbaEntries=(0.0.0.0/0)
coordMasterServers=(localhost)
coordMasterDirs=(/data/opentenbase/data/coord_master/cn001)
coordMaxWALsender=5
coordMaxWALSenders=(5)
coordSlave=n
coordSlaveSync=n
coordSlaveServers=(none)
coordSlavePorts=(30005)
coordSlavePoolerPorts=(30015)
coordSlaveForwardPorts=(30025)
coordSlaveDirs=(none)
coordArchLogDirs=(none)
coordExtraConfig=none
coordSpecificExtraConfig=(none)
coordSpecificExtraPgHba=(none)
#---- Datanodes -----------------------------------------------------------------------
datanodeMasterDir=/data/opentenbase/data/dn_master
datanodeSlaveDir=/data/opentenbase/data/dn_slave
datanodeArchLogDir=/data/opentenbase/data/datanode_archlog
primaryDatanode=dn001
datanodeNames=(dn001)
datanodePorts=(20008)
datanodePoolerPorts=(20018)
datanodeForwardPorts=(20028)
datanodePgHbaEntries=(0.0.0.0/0)
datanodeMasterServers=(localhost)
datanodeMasterDirs=(/data/opentenbase/data/dn_master/dn001)
datanodeMaxWalSender=5
datanodeMaxWALSenders=(5)
datanodeSlave=n
datanodeSlaveServers=(none)
datanodeSlavePorts=(20009)
datanodeSlavePoolerPorts=(20019)
datanodeSlaveForwardPorts=(20029)
datanodeSlaveDirs=(none)
datanodeArchLogDirs=(none)
datanodeExtraConfig=none
datanodeSpecificExtraConfig=(none)
datanodeSpecificExtraPgHba=(none)
walArchive=n
EOF

检查配置文件语法：

bash -n /data/opentenbase/install/opentenbase_bin_v2.0/pgxc_ctl.conf
echo "语法检查结果：$?"

4. 配置 SSH 免密登录

部署集群前必须配置 SSH 免密登录：

# 生成 SSH 密钥
if [ ! -f ~/.ssh/id_rsa ]; then
  ssh-keygen -t rsa -N "" -f ~/.ssh/id_rsa
fi

# 配置本地免密登录
ssh-copy-id opentenbase@localhost
# 或者手动添加
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
chmod 700 ~/.ssh

# 测试 SSH 连接
ssh opentenbase@localhost "echo 'SSH connection test successful'"

5. 部署和初始化集群

启动 pgxc_ctl 工具进行部署：

pgxc_ctl

在命令行中依次执行：

deploy all
init all
start all
monitor all

退出工具：

exit

验证集群状态，正常情况下应显示所有节点 Running。

6. 配置防火墙（可选）

如果启用了防火墙，需要开放相应端口：

# 开放 GTM 端口
sudo firewall-cmd --permanent --add-port=50001/tcp
# 开放 Coordinator 端口
sudo firewall-cmd --permanent --add-port=30004/tcp
sudo firewall-cmd --permanent --add-port=31110/tcp
# 开放 Datanode 端口
sudo firewall-cmd --permanent --add-port=40004/tcp
sudo firewall-cmd --permanent --add-port=41110/tcp
# 重新加载防火墙规则
sudo firewall-cmd --reload

数据库初始化和使用

1. 连接数据库

psql -h localhost -p 30004 -d postgres -U opentenbase

2. 创建必要的节点组和分片组

-- 创建默认节点组
CREATE DEFAULT NODE GROUP default_group WITH (dn001);
-- 创建分片组
CREATE SHARDING GROUP TO GROUP default_group;

3. 创建数据库和表

-- 创建测试数据库
CREATE DATABASE testdb;
-- 创建用户
CREATE USER testuser WITH PASSWORD 'testpass';
-- 授权
ALTER DATABASE testdb OWNER TO testuser;
-- 切换到测试数据库
\c testdb testuser
-- 创建分片表
CREATE TABLE test_table(
  id BIGINT,
  name TEXT,
  created_time TIMESTAMP DEFAULT NOW()
) DISTRIBUTE BY SHARD(id);
-- 插入测试数据
INSERT INTO test_table(id, name) VALUES (1, 'OpenTenBase'), (2, 'TencentCloud'), (3, 'OpenCloudOS');
-- 查询测试
SELECT * FROM test_table;

集群管理与运维

1. 集群管理命令

# 启动集群
pgxc_ctl start all
# 停止集群
pgxc_ctl stop all
# 清理集群（重新初始化时使用）
pgxc_ctl clean all

2. 查看日志

如果初始化失败，可以查看日志定位问题：

# 查看 pgxc_ctl 日志
ls ~/pgxc_ctl/pgxc_log/
cat ~/pgxc_ctl/pgxc_log/最新的日志文件
# 查看各组件日志
ls /data/opentenbase/data/gtm/pg_log/
ls /data/opentenbase/data/coord/pg_log/
ls /data/opentenbase/data/dn001/pg_log/

3. 性能监控查询

-- 集群节点状态查询
SELECT node_name, node_type, node_host, node_port, 
       CASE WHEN status = 'N' THEN '正常' WHEN status = 'D' THEN '下线' ELSE '未知' END AS node_status 
FROM pgxc_node ORDER BY node_type, node_name;

-- 分布式表统计信息
SELECT schemaname, tablename, n_tup_ins as "插入行数", n_tup_upd as "更新行数", n_tup_del as "删除行数", last_analyze as "最近分析时间" 
FROM pg_stat_user_tables WHERE schemaname NOT IN ('information_schema', 'pg_catalog') ORDER BY n_tup_ins DESC LIMIT 10;

-- 数据节点负载分析
WITH node_stats AS (
  SELECT node_name, pg_stat_get_db_blocks_fetched(oid) as blocks_read, pg_stat_get_db_blocks_hit(oid) as blocks_hit 
  FROM pg_database, pgxc_node WHERE datname = current_database()
)
SELECT node_name, blocks_read, blocks_hit, 
       CASE WHEN (blocks_read + blocks_hit) > 0 THEN round(blocks_hit::numeric / (blocks_read + blocks_hit) * 100, 2) ELSE 0 END as cache_hit_ratio 
FROM node_stats ORDER BY cache_hit_ratio DESC;

4. 分布式表创建与分片

-- 创建分布式表（Hash 分片）
CREATE TABLE user_orders (
  order_id BIGINT PRIMARY KEY,
  user_id INTEGER NOT NULL,
  product_id INTEGER NOT NULL,
  order_amount DECIMAL(10,2),
  order_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
  order_status VARCHAR(20)
) DISTRIBUTE BY HASH(user_id);

-- 创建分布式表（Range 分片）
CREATE TABLE sales_data (
  sale_id BIGINT,
  sale_date DATE NOT NULL,
  region VARCHAR(50),
  amount DECIMAL(12,2)
) DISTRIBUTE BY RANGE(sale_date);

-- 为 Range 分片表创建分片规则
SELECT create_distributed_table('sales_data', 'sale_date', 'range');

故障排查与优化

常见问题排查流程

遇到故障时，建议按照以下顺序排查：

1. 检查节点状态（pgxc_node 视图）。
2. 检查日志文件（pg_log 目录）。
3. 检查网络连接和防火墙规则。
4. 检查磁盘空间和内存使用情况。

性能优化实践

分布式数据库的性能优化不仅仅是单节点的调优，更重要的是理解数据分布和网络通信对整体性能的影响。

1. 内存优化

根据服务器配置调整 postgresql.conf 中的内存参数：

shared_buffers = 25% of RAM # 例如 8GB 内存设置为 2GB
effective_cache_size = 75% of RAM
work_mem = 4MB
maintenance_work_mem = 64MB

2. 连接优化

max_connections = 200 # 根据应用需求调整
max_pool_size = 1000 # 连接池大小

3. 日志优化

log_min_duration_statement = 1000 # 记录执行时间超过 1 秒的查询
log_line_prefix = '%t [%p]: [%l-1] user=%u,db=%d,app=%a,client=%h '
log_checkpoints = on
log_connections = on
log_disconnections = on

4. 系统级优化脚本

#!/bin/bash
echo "开始 OpenTenBase 性能优化..."
# CPU 绑定优化
echo 'performance' > /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor
# I/O 调度器优化
echo 'deadline' > /sys/block/*/queue/scheduler
# 网络优化
echo 32768 > /proc/sys/net/core/rps_sock_flow_entries
echo 65536 > /proc/sys/net/core/netdev_max_backlog
echo "优化完成！"

实战经验总结

通过深度使用 OpenTenBase，我深刻感受到了这款分布式数据库在企业级应用中的潜力。首先是其优秀的 PostgreSQL 兼容性，让迁移工作变得相对简单，大部分现有的 SQL 语句和应用程序都能无缝迁移。特别是在处理复杂的 OLAP 查询时，OpenTenBase 展现出了远超传统单机数据库的处理能力。

在分布式弹性扩展方面，从 4 个数据节点扩展到 8 个数据节点的过程设计得非常优雅，支持在线扩容，对业务的影响降到了最低。数据重分布的过程虽然需要一定时间，但整体的扩容体验远好于其他分布式数据库产品。

在运维监控方面，构建了基于 Prometheus + Grafana 的完整监控体系。通过监控各个节点的 CPU、内存、I/O 以及数据库特有的指标（如分布式事务延迟、跨节点查询响应时间等），我们能够及时发现性能瓶颈和潜在问题。特别值得一提的是，OpenTenBase 提供的统计视图非常详细，为运维工作提供了强有力的支持。

总的来说，OpenTenBase 作为一个开源的分布式 HTAP 数据库，在功能完整性、性能表现和运维便利性方面都达到了企业级应用的要求。虽然在某些细节方面还有提升空间，但其强大的 PostgreSQL 兼容性和优秀的分布式扩展能力，使其成为了企业数字化转型过程中值得考虑的重要选择。

参考链接

1. OpenTenBase 官方文档
2. PostgreSQL 分布式扩展最佳实践
3. 分布式数据库性能调优指南
4. Prometheus 监控 OpenTenBase 配置
5. 分布式事务处理机制深度解析