Spark 2.4.0 发布了

beautifulbear 发布于6月前 阅读450次
0 条评论

Spark2.4.0 今天官网发布,这是一个大好消息。

Spark 2.4.0 是 2.x 的第五个发型版本。官方发布消息链接如下:

http://spark.apache.org/releases/spark-release-2-4-0.html

此版本继续关注可用性,稳定性和优化,浪尖在这里摘要翻译一下, 主要的关注点:

SparkCore 和 SQL

  • 增加了 Barrier ExecutionMode ,可以更好的和深度学习的框架整合

  • 同时引入了 30+ 内置函数和 higher-order 函数可以处理更复杂的数据类型

  • 改善了与 k8s 的整合

Spark 2.4.0 发布了

  • 支持 scala 2.12

  • 内置支持了 Avro格式 数据源,这个感情好,后面浪尖给出测试案例,以后有 pb 的支持那就更好了。

性能和稳定性

这个优化比较多,值得关注

  • Connector 优化

这个优化主要是 Parquet , orc , csv 及 avro 等的优化升级

Spark 2.4.0 发布了

MLlib

  • MLlib 支持了图像格式的数据源

StructuredStreaming

  • 使用 foreachBatch (支持 Python , Scala 和 Java )将每个微批的输出行暴露为 DataFrame 。

  • 为 Python API 增加了 foreach 和 ForeachWriter

  • 支持使用“ kafka.isolation.level ”读取使用事务的生产者生产到 kafka topic 的已提交消息。

Spark SQL 的升级页面里也有对 Spark 2.4 在 SQL 方面的调整优化,大家有兴趣也可以看看,有没有自己关注的 bug 被修复了。

http://spark.apache.org/docs/latest/sql-migration-guide-upgrade.html#upgrading-from-spark-sql-23-to-24

细心的同学注意到了, Spark Streaming 已经稳定到不用更新了,,,还是说 Spark Streaming 已经凉凉了。

推荐阅读:

spark源码导读一

解惑:这个SPARK任务是数据倾斜了吗?

Spark 2.4.0 发布了

欢迎转发,点赞

查看原文: Spark 2.4.0 发布了

  • orangeswan
  • smallleopard
  • crazypanda
  • beautifulostrich
  • browntiger
  • goldenpanda
  • tinypanda
需要 登录 后回复方可回复, 如果你还没有账号你可以 注册 一个帐号。