开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

我想问下DataWorks,是不是只能使用独享资源集成组?

我想问下DataWorks,
数据集成使用公共数据集成资源组写入到redis数据源(使用的是VPC连接),提示以下错误:
request action:[InnerVpcGrantVpcInstanceAccessToApp], message:[InvalidInstanceId.NotFound : The instance not in current vpc RequestId : 8766A6A7-F8C5-5599-B148-A04568DF3B94]。
是不是只能使用独享资源集成组?

展开
收起
cuicuicuic 2023-12-19 08:10:03 46 0
5 条回答
写回答
取消 提交回答
  • 公共资源组只能走公网 如果需要使用vpc的话 确实只能使用独享资源组 ,此回答整理自钉群“DataWorks0群已满,新群请看群公告”

    2023-12-19 17:29:46
    赞同 展开评论 打赏
  • 这个错误信息"InvalidInstanceId.NotFound : The instance not in current vpc"表明DataWorks在尝试通过VPC连接访问Redis数据源时,无法找到指定的实例ID或者该实例不在当前的VPC网络中。这并不一定意味着你只能使用独享资源集成组。以下是一些可能的原因和解决步骤:

    1. 确认Redis实例ID:

      • 确保你在DataWorks中配置的Redis实例ID是正确的,并且该实例确实存在于你的阿里云账户下。
    2. 检查VPC配置:

      • 确保你的DataWorks项目和Redis实例都在相同的VPC内,或者它们之间有适当的VPC对等连接或专线连接。
      • 检查并确认在DataWorks中配置的VPC参数是否与Redis实例所在的VPC匹配。
    3. 安全组和网络ACL设置:

      • 确保DataWorks和Redis实例的安全组规则允许从DataWorks所在的安全组访问Redis实例的安全组。
      • 检查网络ACL(如果适用)是否允许必要的入站和出站流量。
    4. Redis连接配置:

      • 确认在DataWorks中配置的Redis连接参数(如地址、端口、认证信息等)是否正确。
    5. 使用独享数据集成资源组:

      • 虽然这个问题不一定需要使用独享数据集成资源组来解决,但如果以上步骤都无法解决问题,你可以尝试使用独享数据集成资源组。
      • 独享数据集成资源组可能提供更灵活的网络配置选项和更高的性能,但请注意这可能会产生额外的成本。
    2023-12-19 16:14:39
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    您好,DataWorks数据集成支持使用Redis Writer将数据写至Redis。然而,据我了解,当您尝试使用公共数据集成资源组进行数据写入操作时,可能会遇到问题。这是因为公共数据集成(调试)资源组有公网能力,但不保证所有网络都能通,为了同步稳定建议用独享数据集成资源组。此外,公共数据集成(调试)资源组无法通过vpc内网同步数据。

    DataWorks包括独享资源组、公共资源组,各资源组根据任务调度、数据集成、数据服务等不同的使用场景,细分为不同类型的资源组。其中,独享数据集成资源组用于保障数据集成任务中的数据传输。因此,为了避免出现类似的问题和提高同步稳定性,建议您使用独享数据集成资源组来进行数据写入操作。

    2023-12-19 14:06:19
    赞同 展开评论 打赏
  • 问题似乎与VPC(Virtual Private Cloud)和Redis的集成有关。错误提示“InvalidInstanceId.NotFound”表示请求的实例ID在当前VPC中未找到。

    首先,确保以下几点:

    • 实例ID是否正确:确认你使用的Redis实例ID是否正确,并且该实例确实存在于你指定的VPC中。
    • VPC连接:确保你的DataWorks任务或应用程序有权访问该VPC,并且已经正确配置了VPC连接。
    • 网络策略:检查VPC的网络策略,确保允许从DataWorks任务或应用程序到Redis实例的通信。

    关于“是不是只能使用独享资源集成组”的问题,通常,数据集成使用公共资源集成组或独享资源集成组都是可以的,这取决于你的具体需求和配置。但是,如果你遇到上述错误,可能需要考虑以下几点:

    • 资源限制:某些VPC可能有特定的资源限制或配置,可能影响公共资源集成组的使用。
    • 安全性:如果你使用的是敏感或受保护的数据,使用独享资源集成组可能提供更好的安全性。
    • 配置和策略:确保VPC、Redis和DataWorks的配置都符合要求,并且没有违反任何策略。
    2023-12-19 11:31:34
    赞同 展开评论 打赏
  • 这个错误信息提示"InvalidInstanceId.NotFound : The instance not in current vpc",表示DataWorks在尝试通过VPC访问Redis数据源时,找不到指定的实例ID或者该实例不在当前的VPC网络中。

    虽然你提到的是使用公共数据集成资源组,但这个错误并不一定意味着你必须切换到独享资源集成组。以下是一些可能的解决方案或检查点:

    1. 确认Redis实例ID:确保你在DataWorks中配置的数据源使用的Redis实例ID是正确的,并且该实例确实存在于你的阿里云账户中。

    2. 检查VPC配置

      • 确保DataWorks和Redis实例都在相同的VPC内,或者它们之间有适当的VPC对等连接或者专线连接。
      • 检查安全组规则,确保从DataWorks所在的安全组有足够的权限访问Redis实例所在的IP地址和端口。
    3. 授权问题

      • 确认你的DataWorks服务账号有足够的权限访问Redis实例。可能需要在阿里云控制台为该账号授予相应的权限。
    2023-12-19 11:30:40
    赞同 1 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载