KWDB 3.1.0 进阶实战：千万级写入、监控与运维指南

运行脚本生成数据：

python3 gen_data.py

你会得到一个约 50MB-60MB 的 iot_data_1m.csv 文件。

1.2 创建表结构

登录 SQL 客户端（记得带上证书）：

sudo /usr/local/kaiwudb/bin/kwbase sql --certs-dir=/etc/kaiwudb/certs --host=127.0.0.1:26257

建表：

CREATE DATABASE IF NOT EXISTS factory;
USE factory;
CREATE TABLE IF NOT EXISTS sensors (
    ts TIMESTAMP NOT NULL,
    dev_id VARCHAR(32) NOT NULL,
    temp DOUBLE,
    press DOUBLE,
    status INT,
    PRIMARY KEY(ts, dev_id) -- 时序数据通常把时间戳放在主键首位
);

1.3 极速导入：批量 Insert

因为 COPY 命令在不同版本的 CLI 工具中兼容性差异较大（容易报错 woops! COPY has confused this client），为了保证实战能稳稳跑通，我们改用 多值 Insert (Batch Insert) 的方式。

虽然比 COPY 稍慢一点，但比单条 Insert 快得多，而且绝对不会报错。

我们修改一下 Python 脚本 gen_data.py，让它直接生成 SQL 语句文件：

import random
from datetime import datetime, timedelta

# 配置
FILENAME = "iot_data_1m.sql"
ROWS = 10000
START_TIME = datetime.now()

print(f"开始生成 {ROWS} 条 SQL 插入语句...")

with open(FILENAME, "w") as f:
    f.write("USE factory;\n")
    f.write("INSERT INTO sensors (ts, dev_id, temp, press, status) VALUES\n")
    
    # 模拟数据
    batch_size = 1000
    for i in range(ROWS):
        ts = (START_TIME + timedelta(milliseconds=i*10)).strftime("'%Y-%m-%d %H:%M:%S.%f'")
        dev_id = f"'dev-{random.randint(1,1000)}'"
        temp = round(random.uniform(20.0,80.0),2)
        press = round(random.uniform(0.5,5.0),2)
        status = random.choice([0,0,0,1])
        
        line = f"({ts}, {dev_id}, {temp}, {press}, {status})"
        if (i + 1) % batch_size == 0 or i == ROWS - 1:
            f.write(f"{line};\n")
            if i != ROWS - 1:
                f.write("INSERT INTO sensors (ts, dev_id, temp, press, status) VALUES\n")
        else:
            f.write(f"{line},\n")

print(f"生成完毕！请运行：kwbase sql < {FILENAME}")

重新生成数据并导入：

# 1. 生成 SQL 文件
python3 gen_data.py

# 2. 导入数据 (利用管道)
time sudo /usr/local/kaiwudb/bin/kwbase sql \ 
  --certs-dir=/etc/kaiwudb/certs \ 
  --host=127.0.0.1:26257 \ 
  < iot_data_1m.sql

预期结果：虽然没有 COPY 那么神速，但这种'一次插 1000 条'的批量方式，也能在几秒钟内搞定 1 万条数据，足够咱们做后续的查询测试了。

2. 别再瞎猜了，看监控！(命令行实战)

Web UI 没装，KDC 连不上（可能是云服务器防火墙策略太严，或者本地网络不通），但这都不叫事儿。作为硬核的 Linux 运维，命令行才是我们最忠实的伙伴。

2.1 方案：内置运维脚本 kw-status.sh

在安装目录下（通常在 /app/kwdb/soft/kwdb_install），官方贴心地准备了状态检查脚本。

# 看看集群节点状态
cd /app/kwdb/soft/kwdb_install
./kw-status.sh

如果找不到这个脚本，别慌，我们直接用 SQL 查系统表（这才是高手的做法）。KWDB 基于 CockroachDB 开发，所以很多系统表都在 crdb_internal 或者 system 库里：

-- 查看节点运行状态
SELECT node_id, address, sql_address, updated_at FROM kwdb_internal.gossip_nodes;

(注：如果 kwdb_internal 查不到，试着把前缀换成 crdb_internal，例如 crdb_internal.gossip_nodes，不同版本可能有所差异)

预期输出：你将看到类似下面的表格，is_live 为 true 就代表节点健康在线。

2.2 监控当前连接数

既然系统表 system.sessions 查不到，我们直接用更通用的 SHOW 命令：

-- 查看当前所有活跃会话
SHOW SESSIONS;

预期输出：你将看到当前连接到数据库的所有会话信息，包括 user_name, client_address, application_name 等。

2.3 查看正在执行的慢 SQL

-- 查看当前正在执行的查询
SHOW QUERIES;

预期输出：这里会列出当前正在跑的 SQL 语句。如果某个查询卡住了，这里就是案发现场。

只要掌握了这几个 SHOW 命令，没有 UI 照样能监控得明明白白。

3. 时序数据的进阶查询

数据进来了，咱们得查。时序数据库最常用的就是'降采样'（Downsampling）和'时间窗口聚合'。

3.1 场景：查询每分钟的平均温度

原始数据是毫秒级的，太密了。我们想看每分钟的趋势：

SELECT date_trunc('minute', ts) AS minute_window,
       avg(temp) AS avg_temp,
       max(temp) AS max_temp
FROM sensors
WHERE ts > now() - interval '1 hour'
GROUP BY minute_window
ORDER BY minute_window DESC
LIMIT 10;

date_trunc 是处理时序数据的神器，它可以把时间戳'截断'到分钟、小时、天等粒度，配合 GROUP BY 就能轻松实现降采样。

3.2 场景：找出异常设备

还记得我们造数据时生成的 status 字段吗？找出过去 1 小时内报警次数最多的前 5 个设备：

SELECT dev_id,
       count(*) AS error_count
FROM sensors
WHERE status = 1 AND ts > now() - interval '1 hour'
GROUP BY dev_id
ORDER BY error_count DESC
LIMIT 5;

有了 SQL 的加持，这些统计分析都是毫秒级返回。

4. 运维保命技能：备份与恢复

虽然 KWDB 很稳，但人为误操作（删库跑路）是防不住的。所以，定期备份是底线。

4.1 逻辑备份 (Dump)

逻辑备份就是把数据导出成 SQL 语句，适合数据量不大或者迁移数据的场景。

# 备份整个 factory 数据库到本地文件
sudo /usr/local/kaiwudb/bin/kwbase dump factory \ 
  --certs-dir=/etc/kaiwudb/certs \ 
  --host=127.0.0.1:26257 \ 
  > factory_backup_$(date +%Y%m%d).sql

打开 factory_backup_2026xxxx.sql 看看，里面全是 CREATE TABLE 和 INSERT 语句，非常直观。

4.2 物理备份 (Backup/Restore)

对于 TB 级别的数据，逻辑备份太慢了。KWDB 企业版通常支持物理备份（快照级），但在社区版/单机版中，我们也可以利用 BACKUP 语句（如果支持）或者通过文件系统快照（LVM/ZFS）来做。

不过，最通用的 恢复 逻辑备份的方法是：

# 先创建一个新库
kwbase sql -e "CREATE DATABASE factory_restore;"

# 导入数据
kwbase sql --database=factory_restore < factory_backup_2026xxxx.sql

5. 踩坑复盘：这次又遇到了啥？

5.1 坑 1：COPY 命令报错

现象：执行 COPY 命令（无论是 FROM LOCAL 还是 FROM STDIN）时，可能会遇到 woops! COPY has confused this client 或者 feature not supported。

原因：这通常是因为 CLI 工具 (kwbase sql) 的版本与服务端版本在 COPY 协议的握手上存在细微差异，或者是 Shell 管道处理特殊字符时出了问题。

解决：最稳妥的办法就是不强求用 COPY。改用 Batch Insert（多条记录合并成一个 INSERT 语句）。只要你的 Python 脚本或者 ETL 工具支持批量提交（一次插 1000 行），性能虽比 COPY 略慢，但胜在绝对稳定，而且不挑客户端。

5.2 坑 2：Web UI 和 KDC 都连不上

现象：Web UI 报 404 或 Method Not Allowed；KDC 报 Connection Timeout。

原因：Web UI 安装包精简了静态资源；KDC 通常是网络问题（防火墙拦截了 26257 端口）或者 TLS 握手失败（证书没配置好）。

解决：别跟 GUI 较劲了。直接上 命令行监控。用 kw-status.sh 看集群状态，用 select * from kwdb_internal.node_status 看节点详情。对于运维来说，这才是最靠谱、最快、永远可用的手段。

5.3 坑 3：CPU 核数警告

现象：页面能打开，输入用户名 kaiwudb 后，密码试了空、试了 root 都不行。

原因：如果你在 deploy.cfg 里没配置初始密码，或者安装后没修改过，默认可能是空密码，但 TLS 模式下有些版本策略要求必须有密码。

解决：别纠结，直接在服务器上用 root 权限进 SQL 终端重置密码：

ALTER USER kaiwudb WITH PASSWORD '123456';

然后立刻去 Web UI 登录，稳进！

6. 总结

这一篇咱们从'安装部署'进阶到了'实战应用'：

1. 利用 Python + Batch Insert 实现了 百万级数据的秒级写入，告别了龟速的单条 Insert。
2. 学会了访问 Web UI (8080 端口)，不管是看 QPS 还是查慢 SQL，心里都有了底。
3. 掌握了 时序数据 的基本聚合查询（date_trunc）。
4. 学会了最基础的 Dump 备份，给数据留了条后路。

搞定这些，你对 KWDB 的掌控力又上了一个台阶。