开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

大数据计算MaxCompute这是谓词下推可以推到OSS文件上?

大数据计算MaxCompute这是谓词下推可以推到OSS文件上?

展开
收起
真的很搞笑 2023-12-03 19:26:24 72 0
3 条回答
写回答
取消 提交回答
  • 是的,MaxCompute可以对OSS文件进行谓词下推。在实际操作中,当数据量超过MaxCompute的内部存储限制时,建议使用OSS作为外部存储来存放数据。同时,您可以利用OSS的URI直接访问这些存储在OSS上的数据。

    2023-12-04 16:58:49
    赞同 展开评论 打赏
  • 是的。 比如oss的目录文件叫ds=20231130,MaxCompute table分区也是20231130,查询时就可以只查20231130的数据,不会访问其他oss目录的数据,实现数据过滤,提高性能。 ,此回答整理自钉群“MaxCompute开发者社区2群”

    2023-12-04 08:06:17
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    是的,MaxCompute的谓词下推功能可以将查询优化推向OSS文件。这意味着在执行查询时,系统可以自动将一些计算推送到OSS文件上,以减少数据传输和处理时间,从而提高查询性能。例如,通过使用内置文本数据解析器或开源数据解析器创建的OSS外部表,用户可以执行INSERT操作将数据写入OSS。此外,如果数据为JSON格式,存储为TEXTFILE文件,同时多个TEXTFILE文件存放在OSS的多个目录中,并以统一存储和命名方式组织,则可以使用MaxCompute分区表和数据进行关联

    2023-12-03 21:18:33
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    OSS运维进阶实战手册 立即下载
    《OSS运维基础实战手册》 立即下载
    OSS运维基础实战手册 立即下载