大数据计算MaxCompute我能怎么查询所有的node是不是空跑节点吗?

大数据计算MaxCompute我能怎么查询所有的node是不是空跑节点吗?我看API listnodes里面的有个SchedulerType好像都是normal,似乎不是代表这里的,有其它办法吗?我要批量统计下那些是空跑的bc471d0fa812bdff60ede86d5cb88579.png
5c88427cf626e14f7af46109adef3785.png
我看API是说是这个属性,但是我查了一个空跑节点她为什么还是显示的normal的6a986042d34b2d647c972b49f03dd627.png

展开
收起
真的很搞笑 2023-10-20 19:07:03 113 分享 版权
4 条回答
写回答
取消 提交回答
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    在MaxCompute中,可以通过查询odps.nodes表来获取所有节点的信息。如果某个节点的SchedulerType为normal,则表示该节点不是空跑节点。因此,可以使用以下SQL语句来查询所有空跑节点:

    SELECT * FROM odps.nodes WHERE SchedulerType = 'empty';
    

    其中,SchedulerType为'empty'表示该节点是空跑节点。执行以上SQL语句后,即可得到所有空跑节点的信息。

    2023-10-22 21:04:07
    赞同 展开评论
  • 在 MaxCompute 中,如果你想检查是否有空跑的节点(即节点没有实际处理数据),你可能需要检查这些节点的输入和输出,以及它们的执行状态。

    对于 MaxCompute 中的 SQL 任务,你可以通过查询任务的执行日志来查看输入和输出的数据量,以判断是否为“空跑”。

    对于 MaxCompute 的节点,可以使用 DataWorks 来查看工作流中节点的依赖关系,以及节点的输入和输出。在 DataWorks 的工作流中,你可以看到每个节点的详细信息,包括它的输入、输出和执行日志。

    2023-10-21 23:01:00
    赞同 展开评论
  • 在MaxCompute中,您可以通过查询节点的调度属性来确定节点是否为空跑节点。具体的查询方法如下:

    1. 使用DESCRIBE命令查看节点的调度属性。例如,如果要查看节点A的调度属性,可以使用以下命令:

      DESCRIBE node A;
      
    2. 在查询结果中,查看节点的is_empty_run属性。如果该属性的值为true,则表示节点是空跑节点。

    2023-10-20 22:30:12
    赞同 展开评论
  • 看运维中心这个节点实例 是不是空跑,此回答整理自钉群“MaxCompute开发者社区2群”

    2023-10-20 19:52:36
    赞同 展开评论

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

还有其他疑问?
咨询AI助理