开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

请教下大数据计算MaxCompute,在临时查询执行快一些,是我的错觉吗?

请教下大数据计算MaxCompute,我发现有时候从odpspy里面通过execute_sql方式执行一个sql 比 在临时查询执行快一些,是我的错觉吗?

展开
收起
真的很搞笑 2023-11-19 07:48:39 25 0
3 条回答
写回答
取消 提交回答
  • 这并非错觉,实际上,执行速度的差异可能因许多因素造成。比如,网络状况、硬件配置、SQL语句的复杂度等都可能影响执行速度。execute_sql和临时查询的执行方式不同,execute_sql是同步执行SQL语句,会阻塞直到SQL语句执行完成;而临时查询则是异步执行,可以获取Logview地址并在后台等待执行结果。在某些情况下,异步执行可能会比同步执行效率更高,但这并非绝对。因此,为了得到最佳的执行效果,建议您根据实际需求和场景选择合适的执行方式。

    2023-11-29 16:44:13
    赞同 展开评论 打赏
  • 可以理解。 两个sdk的方式不一样。临时查询的sdk应该就是java sdk,对比 java sdk和Python sdk就可以,此回答整理自钉群“MaxCompute开发者社区2群”

    2023-11-19 22:56:41
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    有可能是因为以下原因造成的:

    1. odpspy可以使用多线程执行SQL语句,这比单线程更快。
    2. odpspy可以直接执行ODPS SQL语句,而临时查询则会转换为MapReduce模式,耗费更多的时间。

    您可以尝试如下方法提高执行速度:

    1. 尝试多线程执行SQL语句。
    2. 使用更高效的ODPS SQL语句。
    3. 对查询结果进行缓存,以减少网络开销。
    2023-11-19 14:51:41
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    Data+AI时代大数据平台应该如何建设 立即下载
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载