OpenTenBase 企业级分布式 HTAP 数据库部署实战

关键配置说明：

• vm.swappiness = 10：减少 swap 使用，提高数据库性能。
• 网络缓冲区设置：优化分布式节点间通信。
• 文件句柄限制：支持高并发连接。

3. OpenTenBase 安装部署

3.1 依赖安装

由于 OpenCloudOS 支持 dnf 和 yum，推荐使用 dnf 管理依赖。

# 更新系统
sudo dnf update -y

# 安装编译依赖
sudo dnf install -y \
  gcc \
  gcc-c++ \
  make \
  cmake \
  readline-devel \
  zlib-devel \
  openssl-devel \
  uuid-devel \
  bison \
  flex \
  git \
  libcurl-devel \
  libxml2-devel \
  libxslt-devel \
  perl-IPC-Run \
  perl-Test-Simple \
  tcl-devel \
  python3-devel \
  rpm-build \
  pkgconfig \
  krb5-devel \
  openldap-devel

此外还需手动编译安装 zstd 和 lz4 压缩库：

# 安装 zstd
cd /tmp
wget https://github.com/facebook/zstd/releases/download/v1.5.2/zstd-1.5.2.tar.gz
tar -xzf zstd-1.5.2.tar.gz
cd zstd-1.5.2
make
sudo make install PREFIX=/usr/local
sudo ldconfig
export PKG_CONFIG_PATH="/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH"

# 安装 lz4
cd /tmp
wget https://github.com/lz4/lz4/archive/v1.9.4.tar.gz
tar -xzf v1.9.4.tar.gz
cd lz4-1.9.4
make
sudo make install PREFIX=/usr/local
sudo ldconfig
export LD_LIBRARY_PATH="/usr/local/lib:$LD_LIBRARY_PATH"

3.2 用户与目录初始化

所有需要安装 OpenTenBase 集群的机器都需要创建专用用户。

# 创建数据目录
sudo mkdir /data

# 创建 opentenbase 用户
sudo useradd -d /data/opentenbase -s /bin/bash -m opentenbase

# 设置密码
sudo passwd opentenbase

# 切换到 opentenbase 用户
su - opentenbase

3.3 源码编译安装

获取源码

cd /data/opentenbase
git clone https://gitee.com/mirrors/OpenTenBase.git

编译源码

# 设置环境变量
export SOURCECODE_PATH=/data/opentenbase/OpenTenBase
export INSTALL_PATH=/data/opentenbase/install

# 进入源码目录
cd ${SOURCECODE_PATH}
chmod +x configure*

# 清理旧版本并重新配置
make distclean 2>/dev/null || true
rm -rf /data/opentenbase/install/opentenbase_bin_v2.0
rm -f config.status config.log

# 重新配置，添加 SSE4.2 支持
CFLAGS="-g -O2 -w -msse4.2 -mcrc32" \
CXXFLAGS="-g -O2 -w -msse4.2 -mcrc32" \
./configure --prefix=/data/opentenbase/install/opentenbase_bin_v2.0 \
--enable-user-switch \
--with-openssl \
--with-ossp-uuid \
--with-libxml

# 编译
make
make install

# 编译 contrib 模块
chmod +x contrib/pgxc_ctl/make_signature
cd contrib
make
make install

3.4 集中式单节点集群配置

配置环境变量

编辑 ~/.bashrc 文件，添加以下内容：

export OPENTENBASE_HOME=/data/opentenbase/install/opentenbase_bin_v2.0
export PATH=$OPENTENBASE_HOME/bin:$PATH
export LD_LIBRARY_PATH=$OPENTENBASE_HOME/lib:${LD_LIBRARY_PATH}
export LC_ALL=C

生效环境变量：

source ~/.bashrc

创建集群配置目录

mkdir /data/opentenbase/pgxc_ctl
cd /data/opentenbase/pgxc_ctl

创建配置文件

创建 pgxc_ctl.conf，注意数组元素数量必须一致。

cat > /data/opentenbase/install/opentenbase_bin_v2.0/pgxc_ctl.conf << 'EOF'
#!/usr/bin/env bash
#---- OVERALL -----------------------------------------------------------------------------
pgxcOwner=opentenbase
pgxcUser=$pgxcOwner
tmpDir=/tmp
localTmpDir=$tmpDir
configBackup=y
configBackupHost=localhost
configBackupDir=$HOME/pgxc
configBackupFile=pgxc_ctl.bak
#---- GTM --------------------------------------------------------------------------------
gtmName=gtm
gtmMasterServer=localhost
gtmMasterPort=6666
gtmMasterDir=/data/opentenbase/data/gtm
gtmExtraConfig=none
gtmMasterSpecificExtraConfig=none
gtmSlave=n
gtmSlaveName=gtmSlave
gtmSlaveServer=none
gtmSlavePort=20001
gtmSlaveDir=none
gtmSlaveSpecificExtraConfig=none
gtmProxy=n
gtmProxyNames=()
gtmProxyServers=()
gtmProxyPorts=()
gtmProxyDirs=()
gtmPxyExtraConfig=none
gtmPxySpecificExtraConfig=()
#---- Coordinators --------------------------------------------------------------------
coordMasterDir=/data/opentenbase/data/coord_master
coordSlaveDir=/data/opentenbase/data/coord_slave
coordArchLogDir=/data/opentenbase/data/coord_archlog
coordNames=(cn001)
coordPorts=(30004)
poolerPorts=(30014)
coordForwardPorts=(30024)
coordPgHbaEntries=(0.0.0.0/0)
coordMasterServers=(localhost)
coordMasterDirs=(/data/opentenbase/data/coord_master/cn001)
coordMaxWALsender=5
coordMaxWALSenders=(5)
coordSlave=n
coordSlaveSync=n
coordSlaveServers=(none)
coordSlavePorts=(30005)
coordSlavePoolerPorts=(30015)
coordSlaveForwardPorts=(30025)
coordSlaveDirs=(none)
coordArchLogDirs=(none)
coordExtraConfig=none
coordSpecificExtraConfig=(none)
coordSpecificExtraPgHba=(none)
#---- Datanodes -----------------------------------------------------------------------
datanodeMasterDir=/data/opentenbase/data/dn_master
datanodeSlaveDir=/data/opentenbase/data/dn_slave
datanodeArchLogDir=/data/opentenbase/data/datanode_archlog
primaryDatanode=dn001
datanodeNames=(dn001)
datanodePorts=(20008)
datanodePoolerPorts=(20018)
datanodeForwardPorts=(20028)
datanodePgHbaEntries=(0.0.0.0/0)
datanodeMasterServers=(localhost)
datanodeMasterDirs=(/data/opentenbase/data/dn_master/dn001)
datanodeMaxWalSender=5
datanodeMaxWALSenders=(5)
datanodeSlave=n
datanodeSlaveServers=(none)
datanodeSlavePorts=(20009)
datanodeSlavePoolerPorts=(20019)
datanodeSlaveForwardPorts=(20029)
datanodeSlaveDirs=(none)
datanodeArchLogDirs=(none)
datanodeExtraConfig=none
datanodeSpecificExtraConfig=(none)
datanodeSpecificExtraPgHba=(none)
walArchive=n
EOF

验证配置文件语法：

bash -n /data/opentenbase/install/opentenbase_bin_v2.0/pgxc_ctl.conf
echo "语法检查结果： $?"

SSH 免密登录配置

# 生成 SSH 密钥（如果还没有）
if [ ! -f ~/.ssh/id_rsa ]; then
  ssh-keygen -t rsa -N "" -f ~/.ssh/id_rsa
fi

# 配置本地免密登录
ssh-copy-id opentenbase@localhost
# 或者手动添加
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
chmod 700 ~/.ssh

# 测试 SSH 连接
ssh opentenbase@localhost "echo 'SSH connection test successful'"

部署和初始化集群

启动 pgxc_ctl 工具进行自动化部署：

pgxc_ctl

在命令行中依次执行：

deploy all
init all
start all
monitor all

退出工具：

exit

验证集群状态

正常情况下应显示所有节点运行状态：

Running: gtm master
Running: coordinator master cn001
Running: datanode master dn001

配置防火墙（可选）

如果启用了防火墙，需开放相应端口：

# 开放 GTM 端口
sudo firewall-cmd --permanent --add-port=50001/tcp

# 开放 Coordinator 端口
sudo firewall-cmd --permanent --add-port=30004/tcp
sudo firewall-cmd --permanent --add-port=31110/tcp

# 开放 Datanode 端口
sudo firewall-cmd --permanent --add-port=40004/tcp
sudo firewall-cmd --permanent --add-port=41110/tcp

# 重新加载防火墙规则
sudo firewall-cmd --reload

4. 数据库初始化和使用

4.1 连接数据库

psql -h localhost -p 30004 -d postgres -U opentenbase

4.2 创建必要的节点组和分片组

OpenTenBase 使用数据节点组来增加节点管理的灵活性。通常所有数据节点都会被添加到默认组中。

-- 创建默认节点组
CREATE DEFAULT NODE GROUP default_group WITH (dn001);

-- 创建分片组
CREATE SHARDING GROUP TO GROUP default_group;

4.3 创建数据库和表

-- 创建测试数据库
CREATE DATABASE testdb;

-- 创建用户
CREATE USER testuser WITH PASSWORD 'testpass';

-- 授权
ALTER DATABASE testdb OWNER TO testuser;

-- 切换到测试数据库
\c testdb testuser

-- 创建分片表
CREATE TABLE test_table(
    id BIGINT,
    name TEXT,
    created_time TIMESTAMP DEFAULT NOW()
) DISTRIBUTE BY SHARD(id);

-- 插入测试数据
INSERT INTO test_table(id, name) VALUES (1, 'OpenTenBase'), (2, 'TencentCloud'), (3, 'OpenCloudOS');

-- 查询测试
SELECT * FROM test_table;

5. 集群管理与运维

5.1 集群管理命令

• 启动集群：pgxc_ctl start all
• 停止集群：pgxc_ctl stop all
• 清理集群：pgxc_ctl clean all（重新初始化时使用）

5.2 故障排查

如果初始化失败，查看日志定位问题：

# 查看 pgxc_ctl 日志
ls ~/pgxc_ctl/pgxc_log/
cat ~/pgxc_ctl/pgxc_log/最新的日志文件

# 查看各组件日志
ls /data/opentenbase/data/gtm/pg_log/
ls /data/opentenbase/data/coord/pg_log/
ls /data/opentenbase/data/dn001/pg_log/

常见问题解决：

• 权限问题：确保 opentenbase 用户对所有数据目录有读写权限。
• 端口冲突：检查配置的端口是否被其他服务占用。
• 内存不足：调整 shared_buffers 等内存参数。
• 网络问题：检查防火墙和网络连接。

5.3 性能优化建议

内存优化

根据服务器配置调整 postgresql.conf 中的内存参数：

shared_buffers = 25% of RAM
effective_cache_size = 75% of RAM
work_mem = 4MB
maintenance_work_mem = 64MB

连接优化

max_connections = 200
max_pool_size = 1000

日志优化

log_min_duration_statement = 1000
log_line_prefix = '%t [%p]: [%l-1] user=%u,db=%d,app=%a,client=%h '
log_checkpoints = on
log_connections = on
log_disconnections = on

5.4 性能监控查询

-- 集群节点状态查询
SELECT node_name, node_type, node_host, node_port, 
       CASE WHEN status = 'N' THEN '正常' WHEN status = 'D' THEN '下线' ELSE '未知' END AS node_status 
FROM pgxc_node ORDER BY node_type, node_name;

-- 分布式表统计信息
SELECT schemaname, tablename, n_tup_ins as "插入行数", n_tup_upd as "更新行数", 
       n_tup_del as "删除行数", last_analyze as "最近分析时间" 
FROM pg_stat_user_tables 
WHERE schemaname NOT IN ('information_schema', 'pg_catalog') 
ORDER BY n_tup_ins DESC LIMIT 10;

-- 数据节点负载分析
WITH node_stats AS (
    SELECT node_name, 
           pg_stat_get_db_blocks_fetched(oid) as blocks_read, 
           pg_stat_get_db_blocks_hit(oid) as blocks_hit 
    FROM pg_database, pgxc_node 
    WHERE datname = current_database()
)
SELECT node_name, blocks_read, blocks_hit, 
       CASE WHEN (blocks_read + blocks_hit) > 0 THEN round(blocks_hit::numeric / (blocks_read + blocks_hit) * 100, 2) ELSE 0 END as cache_hit_ratio 
FROM node_stats ORDER BY cache_hit_ratio DESC;

5.5 分布式表创建与分片

-- 创建分布式表（Hash 分片）
CREATE TABLE user_orders (
    order_id BIGINT PRIMARY KEY,
    user_id INTEGER NOT NULL,
    product_id INTEGER NOT NULL,
    order_amount DECIMAL(10,2),
    order_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
    order_status VARCHAR(20)
) DISTRIBUTE BY HASH(user_id);

-- 创建分布式表（Range 分片）
CREATE TABLE sales_data (
    sale_id BIGINT,
    sale_date DATE NOT NULL,
    region VARCHAR(50),
    amount DECIMAL(12,2)
) DISTRIBUTE BY RANGE(sale_date);

-- 为 Range 分片表创建分片规则
SELECT create_distributed_table('sales_data', 'sale_date', 'range');

6. 实战经验总结

通过深度实践，OpenTenBase 在企业级应用中展现出显著优势。首先是其优秀的 PostgreSQL 兼容性，迁移成本较低，大部分现有 SQL 语句和应用程序能无缝迁移。特别是在处理复杂的 OLAP 查询时，分布式能力远超传统单机数据库。

在弹性扩展方面，支持在线扩容，对业务影响最小。数据重分布过程虽然耗时，但整体体验优于同类产品。运维监控方面，结合 Prometheus + Grafana 可构建完整体系，实时监控 CPU、内存、I/O 及分布式事务延迟等指标。

总体而言，OpenTenBase 在功能完整性、性能表现和运维便利性方面达到了企业级要求，是数字化转型过程中值得考虑的重要选择。随着社区发展，其在分布式数据库领域的作用将愈发重要。

参考链接

1. OpenTenBase 官方文档
2. PostgreSQL 分布式扩展最佳实践