KWDB 3.1.0 进阶实战：千万级时序写入、监控与运维

运行脚本生成数据：

python3 gen_data.py

1.2 创建表结构

登录 SQL 客户端（记得带上证书）：

sudo /usr/local/kaiwudb/bin/kwbase sql --certs-dir=/etc/kaiwudb/certs --host=127.0.0.1:26257

建表：

CREATE DATABASE IF NOT EXISTS factory;
USE factory;
CREATE TABLE IF NOT EXISTS sensors (
    ts TIMESTAMP NOT NULL,
    dev_id VARCHAR(32) NOT NULL,
    temp DOUBLE,
    press DOUBLE,
    status INT,
    PRIMARY KEY(ts, dev_id)
);

1.3 极速导入：批量 Insert

由于 COPY 命令在不同版本的 CLI 工具中兼容性差异较大，为了保证实战能稳稳跑通，改用 多值 Insert (Batch Insert) 的方式。虽然比 COPY 稍慢一点，但比单条 Insert 快得多，而且不会报错。

修改 Python 脚本 gen_data.py，让它直接生成 SQL 语句文件：

import random
from datetime import datetime, timedelta

FILENAME = "iot_data_1m.sql"
ROWS = 10000
START_TIME = datetime.now()

print(f"开始生成 {ROWS} 条 SQL 插入语句...")
with open(FILENAME, "w") as f:
    f.write("USE factory;\n")
    f.write("INSERT INTO sensors (ts, dev_id, temp, press, status) VALUES\n")
    batch_size = 1000
    for i in range(ROWS):
        ts = (START_TIME + timedelta(milliseconds=i*10)).strftime("'%Y-%m-%d %H:%M:%S.%f'")
        dev_id = f"'dev-{random.randint(1,1000)}'"
        temp = round(random.uniform(20.0,80.0),2)
        press = round(random.uniform(0.5,5.0),2)
        status = random.choice([0,0,0,1])
        line = f"({ts}, {dev_id}, {temp}, {press}, {status})"
        if (i + 1) % batch_size == 0 or i == ROWS - 1:
            f.write(f"{line};\n")
            if i != ROWS - 1:
                f.write("INSERT INTO sensors (ts, dev_id, temp, press, status) VALUES\n")
        else:
            f.write(f"{line},\n")
print(f"生成完毕！请运行：kwbase sql < {FILENAME}")

重新生成数据并导入：

python3 gen_data.py
sudo /usr/local/kaiwudb/bin/kwbase sql \
  --certs-dir=/etc/kaiwudb/certs \
  --host=127.0.0.1:26257 \
  < iot_data_1m.sql

2. 命令行监控实战

作为 Linux 运维，命令行是最忠实的伙伴。

2.1 方案：内置运维脚本 kw-status.sh

在安装目录下，官方贴心地准备了状态检查脚本。

cd /app/kwdb/soft/kwdb_install
./kw-status.sh

如果找不到这个脚本，直接用 SQL 查系统表。KWDB 基于 CockroachDB 开发，很多系统表都在 crdb_internal 或者 system 库里：

SELECT node_id, address, sql_address, updated_at FROM kwdb_internal.gossip_nodes;

(注：如果 kwdb_internal 查不到，试着把前缀换成 crdb_internal)

2.2 监控当前连接数

SHOW SESSIONS;

查看当前连接到数据库的所有会话信息。

2.3 查看正在执行的慢 SQL

SHOW QUERIES;

列出当前正在跑的 SQL 语句。如果某个查询卡住了，这里就是案发现场。

3. 时序数据的进阶查询

时序数据库最常用的就是'降采样'（Downsampling）和'时间窗口聚合'。

3.1 场景：查询每分钟的平均温度

SELECT date_trunc('minute', ts) as minute_window, avg(temp) as avg_temp, max(temp) as max_temp
FROM sensors
WHERE ts > now() - interval '1 hour'
GROUP BY minute_window
ORDER BY minute_window DESC
LIMIT 10;

date_trunc 是处理时序数据的神器，配合 GROUP BY 就能轻松实现降采样。

3.2 场景：找出异常设备

SELECT dev_id, count(*) as error_count
FROM sensors
WHERE status = 1 AND ts > now() - interval '1 hour'
GROUP BY dev_id
ORDER BY error_count DESC
LIMIT 5;

4. 运维保命技能：备份与恢复

定期备份是底线。

4.1 逻辑备份 (Dump)

sudo /usr/local/kaiwudb/bin/kwbase dump factory \
  --certs-dir=/etc/kaiwudb/certs \
  --host=127.0.0.1:26257 \
  > factory_backup_$(date +%Y%m%d).sql

4.2 物理备份 (Backup/Restore)

对于 TB 级别的数据，逻辑备份太慢了。最通用的 恢复 逻辑备份的方法是：

CREATE DATABASE factory_restore;

kwbase sql --database=factory_restore < factory_backup_2026xxxx.sql

5. 踩坑复盘

5.1 坑 1：COPY 命令报错

现象：执行 COPY 命令时遇到 woops! COPY has confused this client。

原因：CLI 工具版本与服务端版本在 COPY 协议握手存在差异。

解决：改用 Batch Insert。只要 ETL 工具支持批量提交，性能虽比 COPY 略慢，但胜在绝对稳定。

5.2 坑 2：Web UI 和 KDC 都连不上

现象：Web UI 报 404，KDC 报 Connection Timeout。

原因：防火墙拦截端口或 TLS 握手失败。

解决：直接上 命令行监控。用 kw-status.sh 看集群状态，用 select * from kwdb_internal.node_status 看节点详情。

5.3 坑 3：CPU 核数警告

现象：输入用户名后密码试了空、试了 root 都不行。

原因：默认可能是空密码，但 TLS 模式下有些版本策略要求必须有密码。

解决：直接在服务器上用 root 权限进 SQL 终端重置密码：

ALTER USER kaiwudb WITH PASSWORD '123456';

6. 总结

1. 利用 Python + Batch Insert 实现了百万级数据的秒级写入。
2. 学会了访问 Web UI，不管是看 QPS 还是查慢 SQL，心里都有了底。
3. 掌握了 时序数据 的基本聚合查询（date_trunc）。
4. 学会了最基础的 Dump 备份，给数据留了条后路。