spark支持2.4.3版本

简介: 信息摘要: 该版本主要发布spark-connectors 1.0.4版本,升级spark内核到社区最新稳定版本2.4.3适用客户: 企业客户/个人开发者版本/规格功能: 该版本主要发布spark-connectors 1.

信息摘要: 该版本主要发布spark-connectors 1.0.4版本,升级spark内核到社区最新稳定版本2.4.3
适用客户: 企业客户/个人开发者
版本/规格功能: 该版本主要发布spark-connectors 1.0.4版本,升级spark内核到社区最新稳定版本2.4.3:

1、Spark connectors:目前已经支持NoSQL系列:HBase&Phoenix、MongoDB、Redis、TableStore、ElasticSearch等;OLTP数据库:POLARDB、RDS、DRDS等;OLAP数据库:ADB;消息中间件:kafka、loghub、datahub;MaxCompute等;
2、Spark 2.4.3版本核心功能,具体参考社区release note:
a、新的调度模型(Barrier Scheduling),使用户能够将分布式深度学习训练恰当 地嵌入到 Spark 的 stage 中,以简化分布式训练工作流程。
b、添加了35个高阶函数,用于在 Spark SQL 中操作数组/map。
c、Structured Streaming 的各种增强功能。 例如,连续处理(continuous processing)中的有状态操作符。
d、内置数据源的各种性能改进。 例如,Parquet 嵌套模式修剪(schema pruning)
f、JDBC Connector支持 Date/Timestamp类型作为分区并发字段
g、支持 Scala 2.12。
产品文档: https://help.aliyun.com/document_detail/106294.html

目录
相关文章
|
7月前
|
分布式计算 资源调度 监控
【Spark】 Spark的基础环境 Day03
【Spark】 Spark的基础环境 Day03
54 0
【Spark】 Spark的基础环境 Day03
|
SQL 存储 分布式计算
Spark1:概述
Spark1:概述
97 0
|
SQL 弹性计算 监控
Apache Doris 2.0.1 & 1.2.7 版本正式发布!
Apache Doris 2.0.1 & 1.2.7 版本正式发布,欢迎大家下载体验!
|
7月前
|
SQL 存储 Apache
Apache Doris 2.1.3 版本正式发布
Apache Doris 2.1.3 版本正式发布!该版本在功能特性上对数据湖、物化视图、负载管理等方面进行了多项更新,进一步简化湖仓一体架构、加速了查询性能。 欢迎大家下载体验~
|
7月前
|
分布式计算 资源调度 监控
Spark学习--1、Spark入门(Spark概述、Spark部署、Local模式、Standalone模式、Yarn模式)(一)
Spark学习--1、Spark入门(Spark概述、Spark部署、Local模式、Standalone模式、Yarn模式)(一)
213 1
|
7月前
|
存储 数据库连接 Apache
Apache Doris 2.0.4 版本正式发布
亲爱的社区小伙伴们,[Apache Doris 2.0.4 ](https://doris.apache.org/download/) 版本已于 2024 年 1 月 26 日正式发布,该版本在新优化器、倒排索引、数据湖等功能上有了进一步的完善与更新,使 Apache Doris 能够适配更广泛的场景。此外,该版本进行了若干的改进与优化,以提供更加稳定高效的性能体验。新版本已经上线,欢迎大家下载使用!
|
7月前
|
分布式计算 Hadoop Java
Note_Spark_Day01:Spark 基础环境
Note_Spark_Day01:Spark 基础环境
93 0
|
存储 分布式计算 资源调度
Spark学习--1、Spark入门(Spark概述、Spark部署、Local模式、Standalone模式、Yarn模式)(二)
Spark学习--1、Spark入门(Spark概述、Spark部署、Local模式、Standalone模式、Yarn模式)(二)
|
SQL 分布式计算 算法
spark1.x升级spark2如何升级及需要考虑的问题
spark1.x升级spark2如何升级及需要考虑的问题
262 0
spark1.x升级spark2如何升级及需要考虑的问题
|
机器学习/深度学习 分布式计算 Kubernetes
Apache Spark 2.3 加入支持Native Kubernetes及新特性文档下载
Apache Spark 2.3 加入支持Native Kubernetes及新特性文档下载
128 0
Apache Spark 2.3 加入支持Native Kubernetes及新特性文档下载