以关系数据库jdbcUrl为例(其他数据源如hdfs、redis、mogodb对应连接地址约束等价), ##本地IDC:
有公网:数据源支持测试连通性,需要使用JdbcUrl模式添加数据源。如果您使用JdbcUrl添加数据源,需要确保对应执行资源组对数据源的网络访问能力限制(网络可达性和白名单)。如果使用公网地址,请检查公网收费限制,详情请参见数据集成公网流量计费项。 无公网: 数据源不支持测试连通性,并且需要通过脚本模式配置任务。支持通过JdbcUrl模式添加数据源,如果您已打通本地IDC和专有网络,请购买独享数据集成资源后,提交工单进行处理。您也可以升级至DataWorks专业版,通过数据集成自定义资源组同步任务。ECS自建数据源:
有公网:支持测试连通性,需要使用JdbcUrl模式添加数据源。如果您使用JdbcUrl添加数据源,需要确保对应执行资源组对数据源的网络访问能力限制(网络可达性和白名单)。如果使用公网地址,请检查公网收费限制,详情请参见数据集成公网流量计费项。 经典网络: 如果和DataWorks在相同的区域,支持测试连通性和通过JdbcUrl模式添加数据源,可以直接使用默认资源组运行,该方式不推荐使用。 如果和DataWorks在不同的区域,则不支持测试连通性。支持通过JdbcUrl模式添加数据源,需要使用数据集成自定义资源组同步任务,且需要通过脚本模式配置任务,详情请参见通过脚本模式配置任务。 经典网络ECS上自建的数据源,不保证默认资源组网络可通,建议您使用数据集成自定义资源组同步任务。如果使用数据集成自定义资源组或网络不通,需要通过脚本模式配置任务。 建议您迁移数据源至专有网络。 专有网络VPC内部地址:不支持测试连通性。支持通过JdbcUrl模式添加数据源,需要使用数据集成自定义资源组或独享数据集成资源同步任务,且需要通过脚本模式配置任务。阿里云产品:
实例模式添加数据源: RDS(MySQL、PostgreSQL和SQLServer)、POLARDB、DRDS、HybridDB for MySQL、AnalyticDB for PostgreSQL和AnalyticDB for MySQL3.0等实例模式添加的数据源,DataWorks会根据任务执行情况执行环境,自动下发合适可用的链接地址,支持测试连通性和使用默认资源组同步任务。 Redis、MongoDB和AnalyticDB for MySQL2.0支持实例模式添加数据源,不支持反向VPC和测试连通性,需要使用数据集成自定义资源组或独享数据集成资源同步任务,需要使用脚本模式配置任务。 有公网:支持测试连通性;支持测试连通性,需要使用JdbcUrl模式添加数据源。建议优先使用实例模式添加数据源。如果您使用JdbcUrl添加数据源,需要确保对应执行资源组对数据源的网络访问能力限制(网络可达性和白名单)。如果使用公网地址,请检查公网收费限制。 经典网络 如果数据源和DataWorks在相同的区域,支持测试连通性,需要使用JdbcUrl模式添加数据源。 如果数据源和DataWorks在不同的区域,则不支持测试连通性。支持通过JdbcUrl模式添加数据源,需要使用数据集成自定义资源组同步任务,且需要通过脚本模式配置任务。 建议优先使用实例模式添加数据源。 专有网络VPC内部地址:不支持测试连通性,支持通过JdbcUrl模式添加数据源。需要使用数据集成自定义资源组或独享数据集成资源同步任务,且需要通过脚本模式配置任务。建议优先使用实例模式添加数据源。
例如,MaxCompute、OSS和LogHub等其它区域中心化服务的产品,包括3种类型的endpoint,您根据自身需求进行选择即可。
##注意:
HDFS、Redis和MongoDB等其它数据源对应连接地址的约束和关系型数据库一致。 选择数据源连接地址时,需要和任务配置模式(包括向导模式和脚本模式)、任务实际执行资源组(包括默认资源组、自定义资源组和独享数据集成资源组)配合,让运行任务的资源组可以访问数据源。 由于数据存储的特性,建议HBase数据源和HDFS数据源使用自定义资源组或独享数据集成资源组。 金融云的数据源支持网络连通和通过实例模式添加数据源。如果网络不通,请使用自定义资源组同步任务。,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。