开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

大数据计算MaxCompute默认情况下会受哪些因素影响?

大数据计算MaxCompute默认情况下会受哪些因素影响?我看它跟数据条数、数据大小都没有直观的联系。

展开
收起
真的很搞笑 2023-11-05 16:05:10 46 0
3 条回答
写回答
取消 提交回答
  • 正常是跟数据量的大小有关系,此回答整理自钉群“MaxCompute开发者社区2群”

    2023-11-07 23:28:28
    赞同 展开评论 打赏
  • odps.service.mode设置为off会对MaxCompute任务的运行模式产生影响。根据MaxCompute的官方文档,将odps.service.mode设置为off会导致MaxCompute任务的服务模式处于关闭状态,这意味着MaxCompute任务将无法正常执行。因此,如果您在代码中添加了这句话,您的MaxCompute任务将无法执行。

    如果您需要禁用MaxCompute服务,可以使用合法的值offline而不是off。将odps.service.mode设置为offline将禁用MaxCompute服务,因此任务将无法运行,但不会丢失数据。

    2023-11-06 11:06:36
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    MaxCompute的性能受到许多因素的影响,其中包括但不限于:

    1. 硬件资源:MaxCompute的任务运行在物理服务器上,因此服务器的CPU核心数、内存容量、磁盘I/O等都会影响任务的执行速度。另外,网络带宽也会对MaxCompute的性能产生影响。
    2. 数据格式:MaxCompute支持多种数据格式,包括CSV、TSV、ORC、Parquet等。不同的数据格式对MaxCompute的性能有不同的影响。例如,Parquet格式的数据可以在查询时更快地加载和处理,因为它采用了列存储和编码技术。
    3. 查询语句:MaxCompute的查询性能受到查询语句的影响。优化过的查询语句可以显著提高查询速度。例如,使用索引、避免全表扫描等。
    4. 资源调度策略:MaxCompute的资源调度策略会影响任务的执行顺序和优先级,从而影响任务的执行速度。
    2023-11-05 16:15:42
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    Data+AI时代大数据平台应该如何建设 立即下载
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载