开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

大佬 ,大数据计算MaxCompute新版本数据集成,选择克隆操作,数据源不能筛选了?

大佬 ,大数据计算MaxCompute新版本数据集成,选择克隆操作,数据源不能筛选了?感觉有一丢丢不太方便1173e1a3b3381c575f431a3650cf2abb.png

展开
收起
真的很搞笑 2023-07-17 17:09:46 101 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    MaxCompute的新版本数据集成服务(DataWorks)中,如果您使用克隆操作来复制一个数据源,那么复制的数据源将与原始数据源具有相同的配置信息,包括连接信息、数据源类型、认证方式等。在克隆操作中,您可以选择是否同时克隆数据源下的所有表,但是不支持对数据源进行筛选。
    如果您需要筛选数据源中的部分表进行复制,可以使用数据集成中的其他功能,例如创建数据同步任务或数据抽取任务,这些任务支持对数据源进行筛选,并且可以在数据源之间实现数据的自动同步或抽取。

    2023-07-29 13:08:46
    赞同 展开评论 打赏
  • 在大数据计算MaxCompute的新版本中,如果您选择克隆操作进行数据集成,确实不再支持对数据源进行筛选。

    克隆操作是一种将数据从一个表复制到另一个表的快速方式。在以前的版本中,克隆操作允许您选择性地筛选源表中的数据,并复制符合条件的数据到目标表。但是,在新版本中,这个功能被移除了,克隆操作会直接复制整个源表的数据到目标表中,而无法进行筛选。

    如果您需要在克隆操作中筛选数据,可以尝试以下替代方法:

    1. 使用SQL语句:使用MaxCompute的SQL语句,通过SELECT语句来筛选源表中的数据,并将结果插入到目标表中。例如:

      INSERT INTO target_table
      SELECT column1, column2
      FROM source_table
      WHERE condition;
      

      将上述代码中的target_table替换为目标表名,source_table替换为源表名,column1, column2替换为要选择的列,condition替换为您的筛选条件。

    2. 使用数据导出和导入:首先,使用MaxCompute的数据导出功能将满足筛选条件的数据导出到本地或其他存储介质。然后,使用数据导入功能将导出的数据导入到目标表中。

      请注意,这种方法需要您手动处理导出和导入的过程,并确保数据的一致性和完整性。

    虽然新版本中取消了克隆操作中的筛选功能,但MaxCompute仍提供了丰富的数据操作和集成功能,您可以根据具体的业务需求选择合适的方法来实现数据的筛选和集成。

    2023-07-28 21:35:38
    赞同 展开评论 打赏
  • 这不是因为克隆的问题,新版数据集成在第一步做测试连通性时,就已经选好了数据源,所以第二步就不让选择了。 退回上一步,重新选择数据源。 ,此回答整理自钉群“MaxCompute开发者社区2群”

    2023-07-17 17:24:46
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    Flink CDC:新一代数据集成框架 立即下载
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    《DataWorks 数据集成实时同步》 立即下载