025、分布式计算实战：Spark Core与Spark SQL

从一次深夜调试说起

上周三凌晨两点，集群告警突然响了。一个跑了六小时的Spark作业卡在99%，最后一个stage的200个task里总有那么三五个一直在挣扎。日志里满是FetchFailedException和ExecutorLost的报错，数据倾斜那熟悉的味道隔着屏幕都能闻到。这种场景你肯定也遇到过——数据分布不均匀，少数几个key扛了几千万条记录，几个倒霉的executor内存直接撑爆。今天我们就聊聊怎么用Spark Core和Spark SQL解决这类实战问题。

Spark Core：理解你的并行引擎

先看段真实的生产代码，这是出问题的那个stage的简化版：

val rawRDD = sc.textFile("hdfs://data/logs/*.gz").map(line => parseLog(line))// 解析日志，返回(key, value).filter(_ !=null)// 过滤脏数据// 问题就出在这个groupByKey上val groupedRDD = rawRDD.groupByKey()// 这里踩过坑：groupByKey默认不进行map端合并.mapValues(values => processBatch(values)) groupedRDD.saveAsTextFile("hdfs://output/result")

看起来挺干净是吧？问题在于groupByKey()会把某个key对应的所有values都拉到同一个节点上做聚合。如果某个key特别热，比如user_id=0（默认用户）或者city=unknown，那个节点就惨了。

改进方案一：用reduceByKey替代

// 先做map端局部聚合，大幅减少shuffle