支持HBase0.94.x、HBase1.1.x和HBase2.x版本如果您的HBase版本为HBase0.94.x,Writer端的插件请选择094x。 "writer": {"hbaseVersion": "094x"}如果您的HBase版本为HBase1.1.x或HBase2.x,Writer端的插件请选择hbase11x。 "writer": {"hbaseVersion": "11x"}说明 HBase1.1.x插件当前可以兼容HBase 2.0,如果您在使用上遇到问题请提交工单。支持源端多个字段拼接作为rowkey 目前HBase Writer支持源端多个字段拼接作为HBase表的rowkey。写入HBase的版本支持写入HBase的时间戳(版本)支持:当前时间作为版本。指定源端列作为版本。指定一个时间作为版本。
https://help.aliyun.com/document_detail/137757.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
DataWorks支持的Spark版本可能会因不同的时间和地区而有所变化。一般来说,DataWorks在其服务中会提供多个Spark版本以供选择。
目前,DataWorks通常支持以下Spark版本:
Apache Spark 2.x:这是Apache Spark的早期版本,包括2.1、2.2、2.3等。这些版本在性能和功能上都有一定的稳定性和成熟度。
Apache Spark 3.x:这是Apache Spark的最新版本系列,例如3.0、3.1等。Spark 3.x引入了许多新功能和改进,包括Python中的Pandas UDF、动态分区裁剪和优化等。
需要注意的是,在DataWorks中使用哪个具体的Spark版本取决于你的数据处理需求和DataWorks平台的配置。建议在DataWorks控制台中查看支持的Spark版本和选项,并根据项目要求进行选择。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。