Skip to content

BIP5 : Byzer Major Release Upgrade to 2.4.0 with Spark 3.3.0

PENG Zhengshuai edited this page Sep 9, 2022 · 5 revisions

Byzer 是基于 Spark 作为引擎内核的项目,当前 Byzer 使用的内核版本有

  • Spark 3.1.1,为主力维护版本
  • Spark 2.4.3, 为有限维护版本

考虑到由于 Spark 已发布了 3.3.0 的稳定版本,出于功能更新性能优化以及安全漏洞几个方面的考量,经过 Byzer 社区 PMC 讨论,计划在接下来 2022 年 9 月和 10 月开始进行 Spark 3.3 的适配升级工作,在此期间暂停 2.3.x 的小版本发布

  • 计划版本号:2.4.0
  • 计划发布时间:2022 年 11月
  • 主要变更点:
    • Spark 内核的更新以及内置依赖的更新
      • 适配 Spark 3.3, Spark 3.3 也将成为 Byzer 引擎的主要维护版本
      • Spark 3.1.1 引擎将持续维护 2 个小版本功能迭代
      • Spark 2.4.3 引擎不再维护功能迭代
    • 提供全新的 K8S 部署 helm chart,优化 Byzer 在 K8S 上的部署,运维的体验

Proposal Time:2022-09-09 By Byzer PMC Team