DataWorks有个需求就是每天18点获取今天DDL修改过的表,可是我们有近7000张表,使用接口【GetMetaDBTableList】和【GetMetaTableBasicInfo】来配合查询,有page_size=100的限制,导致我们需要并发查询,但是并发又会导致频繁请求的报错,会遗漏,请问这个如何解决呢?我看阿里的qps是每分钟限制200,每秒限制5次?
可以参考这里看下
https://help.aliyun.com/zh/dataworks/developer-reference/use-dataworks-openapi?spm=a2c4g.11186623.0.i2 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。