pg_lake 是 PostgreSQL 扩展，支持直接查询 Parquet、CSV、JSON 等数据文件。无需 ETL 流程，利用 DuckDB 引擎优化性能。支持 S3 存储访问，自动 Schema 检测，提供 COPY 命令扩展及外部表功能。适用于日志分析、数据湖查询场景。
pg_lake 是一款强大的 PostgreSQL 扩展，它为 PostgreSQL 数据库带来了对 Iceberg 数据湖和各类文件格式的无缝访问能力。通过 pg_lake，用户可以直接查询和导入 Parquet、CSV 和 JSON 等常见数据文件，无需复杂的 ETL 流程，极大地简化了数据处理工作流。
在当今数据驱动的世界，企业和开发者经常需要处理来自各种来源的大量数据文件。Parquet、CSV 和 JSON 作为常用的数据存储格式，广泛应用于数据湖、日志存储和数据交换等场景。pg_lake 的出现，正是为了解决 PostgreSQL 用户在处理这些文件时面临的挑战：
pg_lake 提供了简单直观的方式来查询和导入不同格式的文件。核心功能通过 PostgreSQL 的 COPY 命令扩展实现，让用户可以轻松地在数据库表和文件之间传输数据。
使用 COPY 命令可以将文件数据直接导入 PostgreSQL 表中。pg_lake 支持从本地文件系统或 S3 等云存储导入数据：
-- 从 S3 导入 CSV 文件 COPY your_table_name FROM 's3://your_bucket_name/your_file_name.csv'; -- 从 S3 导入 Parquet 文件 COPY your_table_name FROM 's3://your_bucket_name/your_file_name.parquet';
同样，使用 COPY 命令也可以将表数据导出到各种格式的文件中：
-- 导出为 CSV 格式 COPY your_table_name TO 's3://your_bucket_name/exported_data.csv' WITH (format 'csv'); -- 导出为 Parquet 格式 COPY your_table_name TO 's3://your_bucket_name/exported_data.parquet' WITH (format 'parquet');
Parquet 作为一种高效的列式存储格式，在分析场景中表现出色。pg_lake 对 Parquet 提供了全面支持，包括自动 schema 检测和高效查询。
-- 创建外部表查询 Parquet 文件 CREATE EXTERNAL TABLE parquet_data USING parquet LOCATION 's3://your-bucket/path/to/parquet/files'; -- 查询 Parquet 文件，利用谓词下推 SELECT column1, column2 FROM parquet_data WHERE date > '2023-01-01' AND category = 'A';
根据测试数据，Parquet 格式的查询速度通常比 CSV 快 2 倍以上，对于大型数据集，性能提升更为显著。
CSV 作为最通用的数据交换格式，在各种场景中广泛使用。pg_lake 提供了灵活的 CSV 文件处理能力，支持各种 CSV 变体和压缩格式。
pg_lake 支持 PostgreSQL 标准的 COPY CSV 选项，如分隔符、引号字符、头部行等：
-- 导入带头部的 CSV 文件 COPY your_table FROM 's3://your-bucket/data.csv' WITH ( format 'csv', header true, delimiter ',', quote '"' ); -- 导入压缩的 CSV 文件 COPY your_table FROM 's3://your-bucket/data.csv.gz' WITH ( format 'csv', compression 'gzip' );
对于大型 CSV 文件，建议先转换为 Parquet 格式以获得更好的查询性能：
-- 创建外部表指向 CSV 文件 CREATE EXTERNAL TABLE csv_data USING csv LOCATION 's3://your-bucket/large_data.csv' WITH (header true); -- 将 CSV 数据导出为 Parquet 格式 COPY (SELECT * FROM csv_data) TO 's3://your-bucket/large_data.parquet' WITH (format 'parquet');
JSON 作为半结构化数据格式，在日志记录、API 响应等场景中非常流行。pg_lake 支持多种 JSON 格式，包括 JSON 数组和 JSON 行。
-- 导入 JSON 文件 COPY your_table FROM 's3://your-bucket/data.json' WITH (format 'json'); -- 导入压缩的 JSON 文件 COPY your_table FROM 's3://your-bucket/data.json.gz' WITH ( format 'json', compression 'gzip' );
结合 PostgreSQL 强大的 JSON 处理函数，可以轻松查询 JSON 数据：
-- 创建外部表查询 JSON 文件 CREATE EXTERNAL TABLE json_logs USING json LOCATION 's3://bucket/logs/*.json'; -- 查询 JSON 数据 SELECT data->>'timestamp' AS log_time, data->>'level' AS log_level, data->>'message' AS log_message FROM json_logs WHERE data->>'level' = 'ERROR';
pg_lake 提供了强大的自动 schema 检测功能，能够从 Parquet、CSV 和 JSON 文件中推断表结构和列类型，大大减少了手动定义 schema 的工作量。
pg_lake 可以从文件扩展名自动检测文件类型和压缩算法，对于 Parquet 文件，即使没有压缩扩展名，也能通过文件元数据进行自动识别。
-- 使用 zstd 压缩导出 JSON COPY your_table TO 's3://your-bucket/data.json.zst' WITH ( format 'json', compression 'zstd' );
对于需要频繁查询的 CSV/JSON 文件，建议转换为 Parquet 格式：
-- 将 JSON 数据转换为 Parquet CREATE EXTERNAL TABLE json_data USING json LOCATION 's3://bucket/logs/*.json'; COPY (SELECT * FROM json_data) TO 's3://bucket/logs_parquet/' WITH (format 'parquet');
对于大型数据集，使用分区可以显著提高查询性能：
-- 创建分区外部表 CREATE EXTERNAL TABLE partitioned_data ( id INT, data TEXT, event_date DATE ) USING parquet PARTITIONED BY (event_date) LOCATION 's3://bucket/data/event_date=*/';
pg_lake 支持 GeoParquet、GeoJSON 等地理空间数据格式，结合 PostGIS 可以进行空间分析：
-- 查询 GeoParquet 文件中的空间数据 SELECT name, ST_Area(geometry) AS area FROM geodata WHERE ST_Intersects(geometry, ST_MakeEnvelope(-122, 37, -121, 38));
可参考官方文档获取更多功能和高级用法。
要开始使用 pg_lake 处理 Parquet、CSV 和 JSON 文件，首先需要克隆仓库并安装扩展：
git clone [repository_url]
cd pg_lake
# 按照项目文档进行编译和安装
安装完成后，在 PostgreSQL 中启用扩展：
CREATE EXTENSION pg_lake;
现在，您已经准备好体验 pg_lake 带来的强大文件处理能力，轻松应对各种数据湖查询和导入需求。
无论是日志分析、数据湖查询还是 ETL 流程，pg_lake 都能为您提供简单、高效的解决方案，让 PostgreSQL 成为您的数据湖分析中心。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
在线格式化和美化您的 SQL 查询（它支持各种 SQL 方言）。 在线工具，SQL 美化和格式化在线工具，online
解析 INSERT 等受限 SQL，导出为 CSV、JSON、XML、YAML、HTML 表格（见页内语法说明）。 在线工具，SQL 转 CSV/JSON/XML在线工具，online
CSV 与 JSON/XML/HTML/TSV/SQL 等互转，单页多 Tab。 在线工具，CSV 工具包在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML 转 Markdown 互为补充。 在线工具，Markdown 转 HTML在线工具，online