从 MySQL 到 OpenTenBase：电商平台分布式数据库架构升级实战

分片策略设计

针对电商业务特点，采用了混合分片策略：

-- 订单表分片设计
CREATE TABLE orders (
    order_id BIGINT PRIMARY KEY,
    user_id BIGINT NOT NULL,
    product_id BIGINT,
    order_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
    amount DECIMAL(10,2),
    status VARCHAR(20)
) DISTRIBUTE BY HASH(order_id);

-- 用户表分片设计
CREATE TABLE users (
    user_id BIGINT PRIMARY KEY,
    username VARCHAR(64) UNIQUE,
    email VARCHAR(128),
    phone VARCHAR(20),
    created_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP
) DISTRIBUTE BY HASH(user_id);

-- 商品表设计（热点数据复制到所有节点）
CREATE TABLE products (
    product_id BIGINT PRIMARY KEY,
    product_name VARCHAR(255),
    category_id INT,
    price DECIMAL(10,2),
    stock_count INT,
    created_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP
) DISTRIBUTE BY REPLICATION;

关键设计考虑：

• 订单表：按 order_id 哈希分片，确保数据均匀分布
• 用户表：按 user_id 哈希分片，便于用户相关查询
• 商品表：采用复制分布，因为商品信息查询频繁且相对稳定

数据迁移实施

数据迁移是整个项目的关键环节，采用了分阶段、低影响的迁移策略：

#!/bin/bash
# OpenTenBase 数据迁移脚本
set -e

# 配置变量
MYSQL_HOST="192.168.1.100"
MYSQL_PORT=3306
MYSQL_USER="migration_user"
MYSQL_PASS="migration_pass"
MYSQL_DB="ecommerce"
OPENTENBASE_HOST="10.0.1.10"
OPENTENBASE_PORT=5432
OPENTENBASE_USER="otb_user"
OPENTENBASE_PASS="otb_pass"
OPENTENBASE_DB="ecommerce"

mkdir -p ./migration_logs
echo "开始数据迁移过程..."

# 1. 导出 MySQL 数据结构
echo "Step 1: 导出 MySQL 表结构"
mysqldump -h${MYSQL_HOST} -P${MYSQL_PORT} -u${MYSQL_USER} -p${MYSQL_PASS} \
  --no-data --routines --triggers ${MYSQL_DB} > ./migration_logs/schema_dump.sql

# 2. 转换为 OpenTenBase 兼容的 DDL
echo "Step 2: 转换 DDL 语法"
python3 convert_ddl.py ./migration_logs/schema_dump.sql ./migration_logs/opentenbase_schema.sql

# 3. 在 OpenTenBase 中创建表结构
echo "Step 3: 在 OpenTenBase 中创建表结构"
psql -h${OPENTENBASE_HOST} -p${OPENTENBASE_PORT} -U${OPENTENBASE_USER} \
  -d${OPENTENBASE_DB} -f ./migration_logs/opentenbase_schema.sql

# 4. 分批次数据迁移
echo "Step 4: 开始分批次数据迁移"
TABLES=("users" "products" "categories" "orders" "order_items")
for table in "${TABLES[@]}"; do
  echo "正在迁移表：$table"
  row_count=$(mysql -h${MYSQL_HOST} -P${MYSQL_PORT} -u${MYSQL_USER} -p${MYSQL_PASS} \
    -e "SELECT COUNT(*) FROM ${MYSQL_DB}.${table};" -N)
  batch_size=100000
  offset=0
  while [ $offset -lt $row_count ]; do
    mysql -h${MYSQL_HOST} -P${MYSQL_PORT} -u${MYSQL_USER} -p${MYSQL_PASS} \
      -e "SELECT * FROM ${MYSQL_DB}.${table} LIMIT ${batch_size} OFFSET ${offset};" \
      --batch --raw > ./migration_logs/${table}_batch_${offset}.tsv
    psql -h${OPENTENBASE_HOST} -p${OPENTENBASE_PORT} -U${OPENTENBASE_USER} \
      -d${OPENTENBASE_DB} -c "\\COPY ${table} FROM './migration_logs/${table}_batch_${offset}.tsv'"
    offset=$((offset + batch_size))
    rm -f ./migration_logs/${table}_batch_${offset}.tsv
  done
  echo "表 $table 迁移完成"
done

echo "数据迁移完成！"

OpenTenBase 简介

OpenTenBase 是一个关系型数据库集群平台，提供写入可靠性和多节点数据同步功能。可以在一台或多台主机上配置 OpenTenBase，并将数据存储在多个物理主机上。

OpenTenBase 架构组件：

• Coordinator Node (CN)：应用程序访问入口，负责数据分布和查询计划。多个节点位于同一位置，每个节点提供相同的数据库视图
• Datanode Node (DN)：每个 DN 存储用户数据的分区。在功能上，DN 节点负责完成 CN 分发的执行请求
• GTM Node (Global Transaction Manager)：负责集群事务信息的管理，以及集群的全局对象（如序列）

环境准备

硬件要求：

• 内存：最低 4GB RAM
• 操作系统：Linux
• 服务器：云服务器实例

软件依赖：

gcc make readline-devel zlib-devel openssl-devel uuid-devel bison flex git

1. 更新系统并安装依赖包

推荐使用 dnf 或 yum 来安装依赖：

# 更新系统
sudo dnf update -y

2. 创建专用用户

3. 切换到 opentenbase 用户

源码编译安装

1. 获取源码

2. 编译源码

集中式单节点集群配置

1. 配置环境变量

2. 创建集群配置目录

3. 创建集中式配置文件

4. 部署和初始化集群

5. 验证集群状态

配置防火墙（可选）

数据库初始化和使用

1. 连接数据库

2. 创建必要的节点组和分片组

3. 创建数据库和表

集群管理

1. 启动集群

2. 停止集群

3. 清理集群（重新初始化时使用）

故障排查

1. 查看日志

2. 常见问题解决

性能优化建议

1. 内存优化

2. 连接优化

3. 日志优化

性能优化与调优

查询性能优化

连接池配置优化

性能测试与效果评估

压力测试结果

经验总结与最佳实践

关键成功因素

踩坑经验分享

总结与展望

通过本次实践，不仅解决了数据库性能瓶颈问题，还为后续的业务扩展打下了坚实的技术基础。OpenTenBase 在电商场景中表现出了卓越的性能和稳定性，为类似规模的技术团队提供了有价值的参考。