dataworks支持的spark版本是什么？
dataworks支持的spark版本是什么？
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
-
支持HBase0.94.x、HBase1.1.x和HBase2.x版本如果您的HBase版本为HBase0.94.x，Writer端的插件请选择094x。 "writer": {"hbaseVersion": "094x"}如果您的HBase版本为HBase1.1.x或HBase2.x，Writer端的插件请选择hbase11x。 "writer": {"hbaseVersion": "11x"}说明 HBase1.1.x插件当前可以兼容HBase 2.0，如果您在使用上遇到问题请提交工单。支持源端多个字段拼接作为rowkey 目前HBase Writer支持源端多个字段拼接作为HBase表的rowkey。写入HBase的版本支持写入HBase的时间戳（版本）支持：当前时间作为版本。指定源端列作为版本。指定一个时间作为版本。
https://help.aliyun.com/document_detail/137757.html，此回答整理自钉群“DataWorks交流群(答疑@机器人)”2023-09-25 14:35:39赞同 展开评论 -
面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看。
DataWorks支持的Spark版本可能会因不同的时间和地区而有所变化。一般来说，DataWorks在其服务中会提供多个Spark版本以供选择。
目前，DataWorks通常支持以下Spark版本：
Apache Spark 2.x：这是Apache Spark的早期版本，包括2.1、2.2、2.3等。这些版本在性能和功能上都有一定的稳定性和成熟度。
Apache Spark 3.x：这是Apache Spark的最新版本系列，例如3.0、3.1等。Spark 3.x引入了许多新功能和改进，包括Python中的Pandas UDF、动态分区裁剪和优化等。
需要注意的是，在DataWorks中使用哪个具体的Spark版本取决于你的数据处理需求和DataWorks平台的配置。建议在DataWorks控制台中查看支持的Spark版本和选项，并根据项目要求进行选择。
2023-09-25 14:11:39赞同 展开评论
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎，为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。