DataWorks如果换成数据调度的话,那么数据集成和数据地图里面都是测试不通过的。要怎么配置才能测通?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
在DataWorks中,如果数据调度配置后,数据集成和数据地图的测试仍然无法通过,可能是由于网络连通性、白名单配置或资源组设置等问题导致的。以下是详细的排查与配置步骤,帮助您解决该问题:
确保资源组与数据源之间的网络连通性正常。根据数据源的访问方式(内网或公网),需要进行以下操作:
Serverless资源组
如果使用Serverless资源组,请将绑定VPC配置的EIP添加至数据源的白名单中。
旧版资源组
如果使用旧版资源组,请将资源组本身的EIP添加至数据源的白名单中。
完成上述配置后,需测试资源组与数据源的连通性: - 进入数据源页面,选择目标数据源,单击编辑。 - 在数据集成页签下,选择对应的资源组,单击测试连通性。 - 如果测试失败,可使用连通性诊断工具进行自助排查。
调度参数的正确配置是确保任务能够正常运行的关键。以下是具体步骤:
${变量名}
的方式定义变量。如果数据地图中的元数据采集测试不通过,可能是因为资源组未正确配置或白名单限制未解除。请按照以下步骤操作:
default
、独享调度资源组、独享数据集成资源组或Serverless资源组。如果涉及跨账号创建数据源,请确保以下配置正确: - 在创建数据源时,填写对方账号的UID、RAM角色及MaxCompute项目信息。 - 测试资源组与数据源的连通性,确保跨账号访问权限已正确配置。
扩容后的白名单更新
如果对资源组进行了扩容操作,请检查待添加的EIP是否有变动,并及时更新数据源的白名单配置。
安全组配置
如果数据源位于阿里云ECS中,需在安全组中开放ICMP协议端口及数据源服务相关端口,允许资源组的VPC网段或公网IP访问。
调度参数格式检查
确保调度参数的格式正确,避免因多余空格或非法字符导致解析异常。
通过以上步骤,您可以逐步排查并解决数据集成和数据地图测试不通过的问题。如果问题仍未解决,建议联系阿里云技术支持团队以获取进一步帮助。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。