开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

大数据计算MaxCompute中为啥mc内表计费比外表贵10倍?按量扫描

大数据计算MaxCompute中为啥mc内表计费比外表贵10倍?按量扫描

展开
收起
真的很搞笑 2023-10-12 12:48:00 146 0
4 条回答
写回答
取消 提交回答
  • MaxCompute中内部表(Internal Table)和外部表(External Table)的计费差异主要源于数据存储和扫描成本的不同。

    1. 内部表(Internal Table):

      • 存储成本:内部表的数据会被存储在MaxCompute的分布式存储系统中,存储空间由MaxCompute管理,因此存储成本相对较低。
      • 扫描成本:对于内部表,在进行查询和计算时,MaxCompute可以充分利用其分布式计算能力,高效地进行数据扫描和处理,因此扫描成本相对较低。
    2. 外部表(External Table):

      • 存储成本:外部表的数据位于MaxCompute之外的其他存储系统,例如阿里云对象存储(OSS),因此需要额外的存储成本来维护数据在外部存储系统中的存储空间。这可能导致存储成本相对较高。
      • 扫描成本:对于外部表,MaxCompute需要通过网络访问和扫描外部存储系统中的数据,这涉及到跨网络的数据传输和读取操作,因此扫描成本相对较高。

    综上所述,内部表相比外部表具有更低的存储和扫描成本,因此在计费方面较为便宜。这是由于数据存储和扫描的不同机制导致的。

    2023-10-12 21:46:09
    赞同 展开评论 打赏
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    根据您的描述,MaxCompute中内表计费比外表贵10倍,主要是因为内表的扫描方式导致的。

    在MaxCompute中,数据存储以表为单位进行管理。外部表(External Table)通常是指表的数据存储在外部存储系统,如OSS(对象存储服务)。而内部表(Internal Table)则是表的数据存储在MaxCompute自身的存储系统中,即MaxCompute的底层存储。

    对于外部表,当执行查询时,MaxCompute只需从外部存储系统中直接读取数据,不会产生额外的计算和数据扫描成本,因此外部表的计费相对较低。

    而对于内部表,当执行查询时,MaxCompute需要按照所需的条件扫描底层存储系统中的数据,这就产生了数据扫描的成本。而MaxCompute的计费模型中,数据扫描是按量计费的重要组成部分,因此导致内部表的计费相对较高。

    2023-10-12 18:26:28
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在MaxCompute中,表分为内部表和外部表。内部表是存储在MaxCompute上的表,而外部表是从其他数据源导入的表。在计费方面,内部表和外部表的计费方式不同。
    内部表是按量计费的,这意味着您只需要为实际使用的计算资源付费。内部表的计费方式与MaxCompute的其他计算服务相同,因此内部表的计费与外部表的计费相比可能较低。
    外部表是按月计费的,这意味着您需要为表的存储空间付费。外部表的计费方式与MaxCompute的存储服务相同,因此外部表的计费可能较高。
    如果您发现内部表的计费比外部表的计费高10倍,可能是因为您在查询内部表时使用了较多的计算资源。例如,如果您的内部表包含大量的数据,或者您的查询需要进行复杂的计算,那么您可能需要使用较多的计算资源,从而导致计费较高。
    如果您希望降低内部表的计费,可以尝试优化查询,减少计算资源的使用。例如,您可以尝试使用更简单的查询语句,或者尝试使用更有效的数据处理方法,以减少计算资源的使用。

    2023-10-12 13:19:37
    赞同 展开评论 打赏
  • 外部表存储不在MaxCompute,扫描的性能有差距。十倍以上 ,此回答整理自钉群“MaxCompute开发者社区2群”

    2023-10-12 12:55:54
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    Data+AI时代大数据平台应该如何建设 立即下载
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载