开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

通过创建外部表加速查询 MaxCompute 数据时,有什么需要注意的吗?

已解决

通过创建外部表加速查询 MaxCompute 数据时,有什么需要注意的吗?

展开
收起
游客zqq4f2capyyi2 2022-04-15 12:11:14 1998 0
4 条回答
写回答
取消 提交回答
  • 推荐回答

    · Hologres只能加速查询MaxCompute的内部表,不能查询MaxCompute的外部表和VIEW。

    · 通过外部表方式加速查询MaxCompute数据,一次Query命中的数据量大小不超过200GB,一次 Query 命中的分区数不超过 512 个。通过导入数据至 Hologres 内部表的方式则没有此限制。

    · MaxCompute的表数据更新之后,在Hologres存在缓存(一般为5分钟内)才能加速更新后的数据,如果您需要实时查询更新后的数据,可以使用 IMPORT FOREIGN SCHEMA 语法更新外部表,就能实时查询更新后的数据。

    · MaxCompute的Schema更新之后,Hologres不会自动更新,需要手动更新。

    · MaxCompute的分区与Hologres无强映射关系,映射至Hologres之后均为普通字段。

    · MaxCompute与Hologres数据类型一一映射,建表时您可以查看映射关系,详情请参见数据类型汇总。

    · 可以跨区域查询MaxCompute的数据,但是国内区域不能加速查询中国以外区域MaxCompute 的数据,中国以外区域间不能相互加速查询。

    · 外部表不存储数据,数据还是存储在MaxCompute中。

    · 暂不支持 MaxCompute Transaction Table;暂不支持处于 Schema Evolution 状态的表。

    · 当使用 Streaming Tunnel 写入 MaxCompute 表时,表会首先处于 streaming 状态,异步进行 compaction 到 orc 格式,Hologres 1.1.45+版本可以读取 streaming 状态的表,早期版 本暂不支持读取未完成 compaction 状态的表。

    《阿里云实时数仓Hologres》(上)电子书可以通过以下链接下载:https://developer.aliyun.com/ebook/download/7557

    2022-04-15 17:59:00
    赞同 展开评论 打赏
  • 1

    2022-04-15 12:38:47
    赞同 展开评论 打赏
  • 1

    2022-04-15 12:38:42
    赞同 展开评论 打赏
  • 1

    2022-04-15 12:38:42
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载
    大数据&AI实战派 第2期 立即下载