开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

dataworks支持的spark版本是什么?

dataworks支持的spark版本是什么?

展开
收起
真的很搞笑 2023-09-25 09:40:12 97 0
2 条回答
写回答
取消 提交回答
  • 支持HBase0.94.x、HBase1.1.x和HBase2.x版本如果您的HBase版本为HBase0.94.x,Writer端的插件请选择094x。 "writer": {"hbaseVersion": "094x"}如果您的HBase版本为HBase1.1.x或HBase2.x,Writer端的插件请选择hbase11x。 "writer": {"hbaseVersion": "11x"}说明 HBase1.1.x插件当前可以兼容HBase 2.0,如果您在使用上遇到问题请提交工单。支持源端多个字段拼接作为rowkey 目前HBase Writer支持源端多个字段拼接作为HBase表的rowkey。写入HBase的版本支持写入HBase的时间戳(版本)支持:当前时间作为版本。指定源端列作为版本。指定一个时间作为版本。
    https://help.aliyun.com/document_detail/137757.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-09-25 14:35:39
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    DataWorks支持的Spark版本可能会因不同的时间和地区而有所变化。一般来说,DataWorks在其服务中会提供多个Spark版本以供选择。

    目前,DataWorks通常支持以下Spark版本:

    1. Apache Spark 2.x:这是Apache Spark的早期版本,包括2.1、2.2、2.3等。这些版本在性能和功能上都有一定的稳定性和成熟度。

    2. Apache Spark 3.x:这是Apache Spark的最新版本系列,例如3.0、3.1等。Spark 3.x引入了许多新功能和改进,包括Python中的Pandas UDF、动态分区裁剪和优化等。

    需要注意的是,在DataWorks中使用哪个具体的Spark版本取决于你的数据处理需求和DataWorks平台的配置。建议在DataWorks控制台中查看支持的Spark版本和选项,并根据项目要求进行选择。

    2023-09-25 14:11:39
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载