Hive 常用聚合函数 collect_list 详解

场景 2：按时间排序的用户行为路径

需求：将用户的点击行为按时间顺序串联为路径（如 首页→商品页→购物车）。

数据（user_behavior 表）：

text
user_id | action_time           | page
-----------------------------------
1       | 2025-07-24 10:00:00   | 首页
1       | 2025-07-24 10:05:00   | 商品页
1       | 2025-07-24 10:10:00   | 购物车
2       | 2025-07-24 09:30:00   | 搜索页
2       | 2025-07-24 09:40:00   | 商品页

HQL：

SELECT user_id, concat_ws('→', collect_list(page ORDER BY action_time)) AS behavior_path
FROM user_behavior
GROUP BY user_id;

结果：

text
user_id | behavior_path
------------------------
1       | 首页→商品页→购物车
2       | 搜索页→商品页

关键点：

• ORDER BY action_time 确保数组元素按时间排序。
• concat_ws('→', ...) 将数组元素用 → 连接为字符串。

场景 3：JSON 数组生成（结合 explode 反向操作）

需求：将每个商品的多个标签从多行转为 JSON 数组格式。

数据（product_tags 表）：

text
product_id | tag
-----------------
101        | 电子产品
101        | 手机
102        | 服装
102        | 男装
102        | 休闲装

HQL：

SELECT product_id, collect_list(tag) AS tags_array -- 生成标签数组
FROM product_tags
GROUP BY product_id;

结果：

text
product_id | tags_array
-------------------------
101        | ["电子产品", "手机"]
102        | ["服装", "男装", "休闲装"]

延伸：若需转为 JSON 字符串，可结合 to_json() 函数：

to_json(collect_list(tag)) AS tags_json -- 输出："["电子产品","手机"]"

四、注意事项

1. 内存风险：若单个分组的数据量过大（如某个用户有百万级订单），可能导致 OOM（内存溢出），需控制分组数据规模或增加内存。
2. 与 collect_set 对比：
   • collect_list 保留重复值，且不保证顺序（除非显式 ORDER BY）。
   • collect_set 自动去重，但同样不保证顺序。
3. 数组长度限制：默认无限制，但过长的数组会影响性能，建议结合业务逻辑提前过滤无效数据。

五、性能优化建议

配合窗口函数排序：若需严格按时间排序，可先通过窗口函数生成排序字段，再 collect_list。

WITH sorted_orders AS (
    SELECT user_id, order_id, ROW_NUMBER() OVER (PARTITION BY user_id ORDER BY order_time) AS rn
    FROM orders
)
SELECT user_id, collect_list(order_id ORDER BY rn) AS ordered_orders
FROM sorted_orders
GROUP BY user_id;

过滤先行：在 GROUP BY 前通过 WHERE 减少数据量，避免不必要的计算。

示例：

SELECT user_id, collect_list(order_id)
FROM orders
WHERE order_date >= '2025-01-01' -- 先过滤近一年订单
GROUP BY user_id;

通过 collect_list，可高效地将多行数据合并为结构化数组，为复杂分析（如路径挖掘、序列预测）提供基础，是 Hive 中处理'一对多'关系的核心工具之一。