开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks中没有独享资源组,datax就不可用吗?现在连接配好了 报错tried to ac

DataWorks中没有独享资源组,datax就不可用吗?image.png
现在连接配好了
报错tried to access method com.google.common.base.Stopwatch.()V from class org.apache.hadoop.hbase.zookeeper.MetaTableLocator

展开
收起
真的很搞笑 2023-07-31 10:57:04 75 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    DataWorks中的调度资源组是一种为某个项目或任务分配独立调度资源的方式,只有在使用独享调度资源组时,DataX 才无法使用。如果您已经成功连接了数据库,但是在使用 DataX 时遇到了 "tried to access method com.mysql.jdbc.JDBC42PreparedStatement.setLargeMaxRows(long) which is not allowed" 的错误,可能是因为您使用的 MySQL 驱动版本太低,不支持 setLargeMaxRows 方法导致的。

    您可以尝试更新 MySQL 驱动到最新版本,或者在 DataX 的配置中将 maxRowsPerSlice 参数设置为一个较小的值(例如 1000),从而避免使用 setLargeMaxRows 方法。具体操作步骤如下:

    打开 DataX 的配置文件,找到您的数据源配置项。

    在该配置项中,找到 maxRowsPerSlice 参数,并将其设置为

    2023-07-31 15:52:07
    赞同 展开评论 打赏
  • 在阿里云DataWorks中,如果您的项目没有使用独享资源组(Exclusive Resource Group),则默认情况下是无法直接使用DataX工具的。

    DataX是一种用于数据同步和迁移的工具,它通常需要在专用的资源组中进行配置和运行。在DataWorks中,独享资源组是为了提供给用户更好的性能和稳定性而设计的。

    如果您希望在DataWorks中使用DataX,您可以尝试以下解决方法:

    1. 申请独享资源组:联系阿里云客服,申请为您的项目分配一个独享资源组。这样就可以在DataWorks中使用DataX工具。

    2. 使用其他方式同步数据:如果无法使用DataX工具,您可以考虑使用其他方式实现数据同步,例如通过MaxCompute的Tunnel命令、自定义Python脚本等来完成数据同步任务。

    关于您提到的连接报错问题,请提供更详细的错误信息或描述,以便我能够更准确地帮助您解决问题。

    2023-07-31 11:32:33
    赞同 展开评论 打赏
  • 数据集成hbase reader插件 只能运行在独享集成资源组上,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-07-31 11:03:54
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    Flink CDC:新一代数据集成框架 立即下载
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    《DataWorks 数据集成实时同步》 立即下载