开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks中数据源测试连通性是什么?

DataWorks中数据源测试连通性是什么?

展开
收起
cuicuicuic 2023-08-07 20:03:47 48 0
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    数据源测试连通性是DataWorks针对已配置的数据源进行的测试,目的是确认数据源信息是否正确,DataWorks是否能正常连接并与数据源交换数据。

    测试通过后DataWorks和数据源之间的会话才正式建立,从而能正常使用该数据源中的数据。

    一般来说,数据源测试连通性包括以下步骤:

    根据数据源类型,输入主机、端口、账户、密码等配置信息

    使用配置信息,尝试建立与数据源的网络连接

    发送一个简单的SQL查询(如SELECT 1)到数据源,获取结果

    比对返回结果与预期是否一致

    根据上述测试,判断数据源信息是否正确,连接是否通畅

    2023-08-09 21:37:49
    赞同 展开评论 打赏
  • 以关系数据库jdbcUrl为例(其他数据源如hdfs、redis、mogodb对应连接地址约束等价),

    本地IDC:

    有公网:数据源支持测试连通性,需要使用JdbcUrl模式添加数据源。如果您使用JdbcUrl添加数据源,需要确保对应执行资源组对数据源的网络访问能力限制(网络可达性和白名单)。如果使用公网地址,请检查公网收费限制,详情请参见数据集成公网流量计费项。
    无公网:
    数据源不支持测试连通性,并且需要通过脚本模式配置任务。支持通过JdbcUrl模式添加数据源,如果您已打通本地IDC和专有网络,请购买独享数据集成资源后,提交工单进行处理。您也可以升级至DataWorks专业版,通过数据集成自定义资源组同步任务。

    ECS自建数据源:

    有公网:支持测试连通性,需要使用JdbcUrl模式添加数据源。如果您使用JdbcUrl添加数据源,需要确保对应执行资源组对数据源的网络访问能力限制(网络可达性和白名单)。如果使用公网地址,请检查公网收费限制,详情请参见数据集成公网流量计费项。
    经典网络:
    如果和DataWorks在相同的区域,支持测试连通性和通过JdbcUrl模式添加数据源,可以直接使用默认资源组运行,该方式不推荐使用。
    如果和DataWorks在不同的区域,则不支持测试连通性。支持通过JdbcUrl模式添加数据源,需要使用数据集成自定义资源组同步任务,且需要通过脚本模式配置任务,详情请参见通过脚本模式配置任务。
    经典网络ECS上自建的数据源,不保证默认资源组网络可通,建议您使用数据集成自定义资源组同步任务。如果使用数据集成自定义资源组或网络不通,需要通过脚本模式配置任务。
    建议您迁移数据源至专有网络。
    专有网络VPC内部地址:不支持测试连通性。支持通过JdbcUrl模式添加数据源,需要使用数据集成自定义资源组或独享数据集成资源同步任务,且需要通过脚本模式配置任务。

    阿里云产品:

    实例模式添加数据源:
    RDS(MySQL、PostgreSQL和SQLServer)、POLARDB、DRDS、HybridDB for MySQL、AnalyticDB for PostgreSQL和AnalyticDB for MySQL3.0等实例模式添加的数据源,DataWorks会根据任务执行情况执行环境,自动下发合适可用的链接地址,支持测试连通性和使用默认资源组同步任务。
    Redis、MongoDB和AnalyticDB for MySQL2.0支持实例模式添加数据源,不支持反向VPC和测试连通性,需要使用数据集成自定义资源组或独享数据集成资源同步任务,需要使用脚本模式配置任务。
    有公网:支持测试连通性;支持测试连通性,需要使用JdbcUrl模式添加数据源。建议优先使用实例模式添加数据源。如果您使用JdbcUrl添加数据源,需要确保对应执行资源组对数据源的网络访问能力限制(网络可达性和白名单)。如果使用公网地址,请检查公网收费限制。
    经典网络
    如果数据源和DataWorks在相同的区域,支持测试连通性,需要使用JdbcUrl模式添加数据源。
    如果数据源和DataWorks在不同的区域,则不支持测试连通性。支持通过JdbcUrl模式添加数据源,需要使用数据集成自定义资源组同步任务,且需要通过脚本模式配置任务。
    建议优先使用实例模式添加数据源。
    专有网络VPC内部地址:不支持测试连通性,支持通过JdbcUrl模式添加数据源。需要使用数据集成自定义资源组或独享数据集成资源同步任务,且需要通过脚本模式配置任务。建议优先使用实例模式添加数据源。

    例如,MaxCompute、OSS和LogHub等其它区域中心化服务的产品,包括3种类型的endpoint,您根据自身需求进行选择即可。

    注意:

    HDFS、Redis和MongoDB等其它数据源对应连接地址的约束和关系型数据库一致。
    选择数据源连接地址时,需要和任务配置模式(包括向导模式和脚本模式)、任务实际执行资源组(包括默认资源组、自定义资源组和独享数据集成资源组)配合,让运行任务的资源组可以访问数据源。
    由于数据存储的特性,建议HBase数据源和HDFS数据源使用自定义资源组或独享数据集成资源组。
    金融云的数据源支持网络连通和通过实例模式添加数据源。如果网络不通,请使用自定义资源组同步任务。

    相关语料:网络打通解决方案,独享资源使用场景示例,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-08-08 19:02:51
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks全链路数据质量解决方案-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载