Spark 4.0.2 发布与 GitHub Issues 迁移讨论及社区动态
版本发布
Apache Spark 4.0.2
重要指数: ⭐⭐⭐⭐
关键更新:
- 安全与正确性修复: 针对 branch-4.0 维护分支进行了大量修复，涵盖安全漏洞和计算正确性领域。
- 版本推荐: 社区强烈建议所有使用 4.0 版本的用户升级到此版本或 4.1.1 版本。
主要影响: 显著提升了 4.0 生产环境的稳定性和安全性。
相关链接:
作为 4.0 版本的第二个维护版本，4.0.2 修复了多个影响生产环境的关键漏洞和 Bug。在 Spark 4.x 逐步普及的当下，及时跟进维护版本是确保数据基石稳固的必要之举。
Apache Spark 4.2.0-preview2
重要指数: ⭐⭐⭐
关键更新:
- 早期测试: 为社区提供即将到来的 4.2.0 版本的早期访问，旨在收集反馈并进行大规模测试。
- 功能预览: 包含 4.2 线的初步功能，API 尚未最终定型。
主要影响: 助力社区在正式版发布前识别潜在问题。
相关链接:
4.2.0-preview2 的发布标志着 4.2 版本的研发进入中盘。对于热衷于追踪前沿特性或进行新版本适配的开发者来说，这是不可多得的测试窗口。
社区议题
关于从 JIRA 迁移至 GitHub Issues 的深度担忧
综合指数: ⭐⭐⭐⭐
问题现象: 社区就 Spark 的问题追踪系统（Issue Tracking）是否应从 ASF JIRA 迁移至 GitHub Issues 展开了异常激烈的辩论。
问题痛点:
- AI 垃圾信息 (AI Slop): 维护者担心 GitHub 更容易受到低质量 AI 生成内容的冲击。
- 管理开销: 认为清理 GitHub 上的垃圾信息会增加 PMC 和 Committer 的负担。
- 可访问性与厂商锁定: 担心强制使用 GitHub 账号会排除部分通过邮件参与的开发者。
- 可追溯性退化: JIRA 的全局唯一 ID (SPARK-XXX) 在跨仓库追踪上被认为优于 GitHub 的短引用 (#xxx)。
预期和目标: 在易用性（降低贡献门槛）与项目严谨性（防止垃圾信息、保持可追溯性）之间找到平衡点。
各方观点:
- Dongjoon Hyun: 对 AI 垃圾信息、管理开销及可追溯性表示深切忧虑。
- Tian Gao: 积极倡导迁移以提升社区参与度，并提议使用
SPARKGH-xxxxx解决追溯问题。 - Nicholas Chammas: 认为 GitHub 门槛最低，封禁恶意账号的操作成本并不高。
- Wenchen Fan: 建议采取混合模式，对重大变更保留 JIRA 以确保存档价值。
- Jungtaek Lim: 认为 AI 垃圾信息是可防可控的，关键在于社区的协同防御。
这是一个典型的'开发者体验 vs 系统鲁棒性'的博弈。虽然 GitHub 具有天然的社交属性和更低的准入门槛，但对于 Spark 这样体量的顶级项目，任何流程上的微调都可能引发巨大的阵痛。SPARK-XXX 已经成为了大数据领域的'通用语言'，这一遗产的继承将是迁移方案中最具挑战的部分。
技术提案
变更数据捕获 (CDC) 支持 (SPARK-55668)
核心动机: 统一当前碎片化的 CDC 查询语法。目前 Delta, Iceberg 和 Hudi 各自拥有不同的 CDC 语法（如 table_changes()、.changes 等），缺乏通用标准。
关键设计: 引入全新的 CHANGES SQL 子句、.changes() DataFrame API，并将后处理逻辑（如过滤 Copy-on-Write 带来的冗余行、推导前后镜像）下沉到 Catalyst 引擎层。
影响价值: 实现查询的可移植性，显著降低连接器开发者的重复工作。
相关链接:
社区探讨:
- 赞成观点：Szehon Ho 认为标准化 CDC 用户体验是一个伟大的想法。
- 反对观点：暂无显著反对意见。
- 其他观点：讨论集中在如何更好地抽象 Changelog 接口。
Spark 终于开始在引擎层面对 CDC 进行标准化。随着湖仓一体架构的演进，CDC 不再是某种存储格式的'私有特权'，而应成为计算引擎的一等公民。
语言无关的 UDF 协议 (SPARK-55278)
核心动机: 解决 Spark Connect 中非 JVM/Python 语言（如 Go, Rust, Swift, .NET）无法使用 UDF 的痛点。
关键设计: 定义一套统一的、基于 IPC 的 UDF 执行协议，允许 UDF 在执行器进程之外运行，通过标准化接口与 Spark 通信。
影响价值: 极大扩展了 Spark Connect 的生态边界，让更多编程语言能原生参与复杂计算。
相关链接:
社区探讨:
- 赞成观点：认为这是让 Spark Connect 真正具备多语言能力的基石。
这是 Spark 迈向多语言云原生架构的关键一步。打破 JVM 对 UDF 的垄断，将释放 Rust/Go 等语言在高性能处理和边缘计算中的潜力。
Spark Connect 异步元数据解析 (SPARK-55163)
核心动机: 修复 Spark Connect 中因高频元数据 RPC 导致的性能瓶颈（'千次 RPC 之死'）。
关键设计: 引入客户端 Plan-ID 缓存机制，跳过冗余的 AnalyzePlan 请求。
影响价值: 在元数据密集型任务中实现了 51 倍的惊人加速。
相关链接:
细节决定成败。对于远程模式下的 Spark Connect 而言，每一毫秒的网络 RTT 都在损耗用户体验。Plan-ID 缓存是针对该痛点的一次手术级优化。
延长 Spark 3.5 LTS 支持周期 (SPARK-55489)
核心动机: 考虑到 3.5 EOL 与 4.0 发布间隔较短，为企业用户提供更充足的平滑迁移时间。
关键设计: 延长 3.5 的生命周期，主要针对安全漏洞提供持续修复。
影响价值: 降低企业用户的升级风险，维护生态稳定。
相关链接:
技术演进不应抛弃先行者。延长 3.5 LTS 体现了社区对企业级稳定性的尊重与承诺。
社区成员
Cheng Pan (New Committer)
重要指数: ⭐⭐⭐
关键更新:
- 社区荣誉: Cheng Pan (pan3793) 被正式邀请成为 Apache Spark 的 Committer。
主要影响: 增强了社区开发带宽，是对活跃贡献者的肯定。
相关链接:
祝贺 Cheng Pan！新鲜血液的加入是开源项目保持长久生命力的源泉。