DataWorks使用独享数据服务资源组时,需要关注什么问题?
使用DataWorks独享数据服务资源组时,主要关注的问题包括:
网络配置:使用独享数据服务资源组前,需要进行网络绑定和白名单等配置操作。同时,如果需要访问VPC环境下的数据,必须满足一定的前提条件。
资源调度:在高并发执行且无法错峰运行的任务场景下,例如大数据处理,建议选择独享数据集成资源组或独享调度资源组来保障任务的稳定运行。
资源组类型和计费方式:DataWorks的资源组包括独享调度资源组、独享数据集成资源组、独享数据服务资源组和公共调度资源组、公共数据服务资源组等,不同类型的资源组具有不同的计费方式和应用场景。
数据集成:独享数据集成资源组用于保障数据集成同步任务数据的快速、稳定传输,并且可以支持复杂网络环境下的数据同步。
API调用:对于需要保障API调用的任务,可以选择使用独享数据服务资源组。
总的来说,使用独享数据服务资源组时,除了进行必要的网络配置外,还需要根据实际业务需求选择合适的资源组类型,并了解其计费方式和所支持的使用场景。
在阿里云DataWorks中,使用独享数据服务资源组时,需要关注以下问题:
您在使用资源组时,需要关注资源组的连通性和性能两方面:连通性: 发起API调用请求时,请求会下发至数据服务的服务器,并被进一步转发至数据源中执行数据查询,因此需要保证资源组可以访问相应的数据源及其所在的网络。您需要在保证网络连通的前提下,再使用数据服务;如果网络不通,会导致API调用请求无法执行。性能: 执行API调用任务时,会占用资源组所在机器的CPU、内存和网络等资源。如果资源不足,会导致API调用异常、高频调用请求被限流,以及无法及时返回查询结果等问题。您需要给予API调用任务充足的资源,以保障API调用请求的顺利执行。建议您使用独享资源组,将发起的API调用任务运行在独立的环境中,无需受到公共资源池的影响。独享资源组的性能指标可参见独享数据服务资源组的性能指标和计费标准。
https://help.aliyun.com/document_detail/213421.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。