信息摘要: 该版本主要发布spark-connectors 1.0.4版本,升级spark内核到社区最新稳定版本2.4.3
适用客户: 企业客户/个人开发者
版本/规格功能: 该版本主要发布spark-connectors 1.0.4版本,升级spark内核到社区最新稳定版本2.4.3:
1、Spark connectors:目前已经支持NoSQL系列:HBase&Phoenix、MongoDB、Redis、TableStore、ElasticSearch等;OLTP数据库:POLARDB、RDS、DRDS等;OLAP数据库:ADB;消息中间件:kafka、loghub、datahub;MaxCompute等;
2、Spark 2.4.3版本核心功能,具体参考社区release note:
a、新的调度模型(Barrier Scheduling),使用户能够将分布式深度学习训练恰当 地嵌入到 Spark 的 stage 中,以简化分布式训练工作流程。
b、添加了35个高阶函数,用于在 Spark SQL 中操作数组/map。
c、Structured Streaming 的各种增强功能。 例如,连续处理(continuous processing)中的有状态操作符。
d、内置数据源的各种性能改进。 例如,Parquet 嵌套模式修剪(schema pruning)
f、JDBC Connector支持 Date/Timestamp类型作为分区并发字段
g、支持 Scala 2.12。
产品文档: https://help.aliyun.com/document_detail/106294.html