开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

大数据计算MaxCompute透露一下,增量数据和历史合并运行时长 会从原来可能是小时级别的到现在?

大数据计算MaxCompute透露一下,增量数据和历史合并运行时长 会从原来可能是小时级别的到现在的多少?分钟 级别还是?

展开
收起
真的很搞笑 2023-08-13 11:02:23 65 0
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在大数据计算MaxCompute中,增量数据和历史数据的合并运行时长可以根据具体情况而有所不同。以下是一些常见的情况和对应的运行时长:

    少量增量数据:如果增量数据量比较小,通常在分钟级别内就可以完成合并运算。这是因为增量数据量小,计算引擎可以快速处理并合并到历史数据中。

    大量增量数据:当增量数据量较大时,合并运行时长可能需要更长的时间。具体的运行时长取决于增量数据的大小、计算引擎的计算能力、集群负载情况等因素。对于大量增量数据,合并运行时长可能会延长到小时级别。

    需要注意的是,MaxCompute的计算能力和性能受到多个因素的影响,如集群规模、资源配置、数据规模、计算逻辑复杂度等。因此,无法提供具体的时长范围,而是需要根据实际情况进行评估和测试。

    如果您关注合并运行时长的性能问题,可以考虑以下优化策略:

    针对增量数据进行分区:将增量数据按照某个关键字段进行分区,可以降低合并运行时长,只对相关的分区数据进行合并处理。

    调整集群资源配置:根据实际需求,适当增加集群的计算资源配置,以提高计算能力和并发处理能力。

    优化计算逻辑:评估和优化合并过程中的计算逻辑,减少不必要的计算和数据迁移操作,提高运行效率。

    并行处理:如果数据允许并行处理,可以考虑将合并操作划分为多个子任务,并行处理各个子任务,从而减少总体的运行时长。

    2023-08-13 22:28:44
    赞同 展开评论 打赏
  • 我们是t+1合并,不是实时。实时单链路用flink成本太贵了,此回答整理自钉群“MaxCompute开发者社区2群”

    2023-08-13 11:35:06
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    Data+AI时代大数据平台应该如何建设 立即下载
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载