您好,请教一下,DataWorks中使用pyodps,经常报图中的错误,怎么回事?

您好,请教一下,DataWorks中使用pyodps,经常报图中的错误,怎么回事?image.png 如何获取表的元数据?

展开
收起
真的很搞笑 2023-07-01 17:45:01 107 分享 版权
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    根据您提供的截图内容,可以看出报错信息中提到了“ODPSClient 429 Too Many Requests”,这意味着您的ODPS账号在一定时间内发送的请求过多,已经达到了服务商限制。这种情况下,服务商通常会返回一个429错误码,告诉您暂时无法处理请求。

    为了解决这个问题,您可以考虑以下几个方面:

    增加请求间隔:根据服务商的限制,适当增加请求之间的间隔时间,避免短时间内发送过多的请求。

    减少请求频率:如果您的代码中存在循环请求等高频操作,可以考虑减少请求的频率,或者使用批量操作等方式优化代码。

    增加并发数:如果您的代码中存在并发请求等操作,可以考虑增加并发数,提高请求的处理效率。

    联系服务商:如果以上方法无法解决问题,可以联系ODPS服务商,了解具体的请求限制和解决方案。

    2023-07-31 22:28:08
    赞同 展开评论
  • 进入数据发现页面。登录DataWorks控制台。在左侧导航栏,单击工作空间列表。选择工作空间所在地域后,单击相应工作空间后的进入数据开发。单击左上方的image.png 图标,选择全部产品 > 数据治理 > 数据地图。在顶部菜单栏,单击数据发现。在E-MapReduce元数据采集页面,单击新建采集器。在新增采集器对话框中,选择引擎实例后,单击前往开启授权。image.png 在E-MapReduce控制台中所选引擎实例的元数据页面,单击开启元数据收集。image.png 在确认开关变更对话框中,单击确定。成功开启元数据收集后,返回数据地图中的新增采集器对话框,单击刷新。授权状态刷新为已授权后,单击提交,即可开启元数据收集。在E-MapReduce元数据采集页面,单击新建的采集器后的运行全量获取。单击页面右上角的刷新,待EMR采集实例的运行状态显示为收集成功即可。说明 全量采集E-MapReduce元数据后,系统会开启自动增量采集,自动同步表中新增的元数据。 https://help.aliyun.com/document_detail/146699.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-07-01 17:53:29
    赞同 展开评论

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

还有其他疑问?
咨询AI助理