DataWorks数据集成使用公共数据集成资源组写入到redis数据源是不是只能使用独享资源集成组？

根据您提供的错误信息和知识库中的相关资料，以下是问题的详细分析与解决方案：

问题分析

错误信息 InvalidInstanceId.NotFound : The instance not in current vpc 表明当前使用的公共数据集成资源组无法正确访问目标 Redis 数据源所在的 VPC 环境。这主要是因为 公共数据集成资源组不支持直接访问 VPC 网络环境下的数据源。

在 DataWorks 中，公共资源组的网络连通性有以下限制： 1. 公共数据服务资源组 不支持访问 VPC 网络环境下的数据源。 2. 如果数据源位于 VPC 网络中，建议使用 独享数据集成资源组 或 Serverless 资源组 来确保网络连通性。

因此，您遇到的问题是由于公共资源组无法满足 VPC 网络环境下的访问需求。

解决方案

为了解决该问题，您可以按照以下步骤操作：

方案一：切换为独享数据集成资源组

独享数据集成资源组支持绑定到特定的 VPC 网络，从而实现与 VPC 内数据源的连通性。具体操作如下：

1. 创建独享数据集成资源组

   • 登录 DataWorks 控制台，选择目标地域。
   • 在左侧导航栏中，单击 资源组 > 独享资源组。
   • 单击 创建调度资源组 或 创建集成资源组，并根据需求选择相应的配置（如地域、资源类型等）。
   • 完成购买后，返回 新增独享资源组 面板，配置资源组名称、备注等参数。

2. 绑定独享资源组到目标 VPC

   • 在 资源组列表 > 独享资源组 页面，找到新创建的资源组，单击其后的 网络设置。
   • 单击 新增绑定，在弹出的面板中配置以下参数：
     • 专有网络：选择 Redis 数据源所在的 VPC。
     • 可用区：选择 Redis 数据源所在的可用区。
     • 交换机：选择 Redis 数据源所在的交换机。
     • 安全组：选择相应的安全组。
   • 单击 确定 完成绑定。

3. 添加路由（可选）
   如果独享资源组与 Redis 数据源不在同一个可用区，需要添加自定义路由：

   • 在 独享资源组 页面，单击资源组后的 自定义路由。
   • 单击 新增路由，配置以下参数：
     • 目的类型：选择 VPC。
     • 目的 VPC：选择 Redis 数据源所在的 VPC。
     • 连接方式：选择 Switch。
     • 目的 Switch 实例：选择 Redis 数据源所在的交换机。
   • 单击 生成路由。

4. 将独享资源组的 IP 添加到 Redis 白名单

   • 在 独享资源组 页面，查看资源组的 EIP 地址 和 弹性网卡 IP。
   • 登录 Redis 管理控制台，进入 白名单设置，将上述 IP 地址添加到白名单中。

5. 测试连通性

   • 返回 DataWorks 控制台，在数据源页面选择 Redis 数据源，单击 测试连通性。
   • 如果测试通过，则说明网络连通性已成功建立。

方案二：切换为 Serverless 资源组

如果您的业务场景允许使用 Serverless 资源组，也可以选择此方案。Serverless 资源组支持更灵活的网络配置，包括 VPC 网络环境下的访问。

1. 启用 Serverless 资源组

   • 在 DataWorks 控制台中，进入 资源组 页面。
   • 选择 新增和使用 Serverless 资源组，并按照提示完成配置。

2. 配置网络连通性

   • 使用 Serverless 资源组时，需确保其能够访问 Redis 数据源所在的 VPC 网络。
   • 参考独享资源组的网络配置步骤，完成 VPC 绑定和白名单设置。

3. 测试连通性

   • 在数据源页面测试 Serverless 资源组与 Redis 数据源的连通性。

重要提醒

• 公共资源组的局限性：公共资源组不支持 VPC 网络环境下的数据源访问，且网络稳定性较低，建议优先使用独享资源组或 Serverless 资源组。
• 网络配置的准确性：无论是独享资源组还是 Serverless 资源组，都需要确保绑定的 VPC、交换机和安全组配置正确，并将资源组的 IP 地址添加到 Redis 白名单中。
• 任务切换资源组的影响：如果已有任务正在运行，切换资源组后需要重新生成实例以生效。

结论

根据错误信息和知识库内容，公共数据集成资源组无法满足 VPC 网络环境下的 Redis 数据源访问需求。建议您切换为 独享数据集成资源组 或 Serverless 资源组，并按照上述步骤完成网络配置和白名单设置。