您好,请教一下,DataWorks中使用pyodps,经常报图中的错误,怎么回事? 如何获取表的元数据?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
根据您提供的截图内容,可以看出报错信息中提到了“ODPSClient 429 Too Many Requests”,这意味着您的ODPS账号在一定时间内发送的请求过多,已经达到了服务商限制。这种情况下,服务商通常会返回一个429错误码,告诉您暂时无法处理请求。
为了解决这个问题,您可以考虑以下几个方面:
增加请求间隔:根据服务商的限制,适当增加请求之间的间隔时间,避免短时间内发送过多的请求。
减少请求频率:如果您的代码中存在循环请求等高频操作,可以考虑减少请求的频率,或者使用批量操作等方式优化代码。
增加并发数:如果您的代码中存在并发请求等操作,可以考虑增加并发数,提高请求的处理效率。
联系服务商:如果以上方法无法解决问题,可以联系ODPS服务商,了解具体的请求限制和解决方案。
进入数据发现页面。登录DataWorks控制台。在左侧导航栏,单击工作空间列表。选择工作空间所在地域后,单击相应工作空间后的进入数据开发。单击左上方的 图标,选择全部产品 > 数据治理 > 数据地图。在顶部菜单栏,单击数据发现。在E-MapReduce元数据采集页面,单击新建采集器。在新增采集器对话框中,选择引擎实例后,单击前往开启授权。
在E-MapReduce控制台中所选引擎实例的元数据页面,单击开启元数据收集。
在确认开关变更对话框中,单击确定。成功开启元数据收集后,返回数据地图中的新增采集器对话框,单击刷新。授权状态刷新为已授权后,单击提交,即可开启元数据收集。在E-MapReduce元数据采集页面,单击新建的采集器后的运行全量获取。单击页面右上角的刷新,待EMR采集实例的运行状态显示为收集成功即可。说明 全量采集E-MapReduce元数据后,系统会开启自动增量采集,自动同步表中新增的元数据。 https://help.aliyun.com/document_detail/146699.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。