开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

大数据计算MaxCompute有没有yarn页面?查看各个application的资源占用情况。

大数据计算MaxCompute有没有yarn页面?查看各个application的资源占用情况。

展开
收起
三分钟热度的鱼 2023-07-11 17:44:09 115 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在MaxCompute中,虽然没有专门的YARN页面,但是您可以通过调用MaxCompute的API或使用MaxCompute客户端工具来查看各个应用程序的资源占用情况。
    具体而言,您可以通过以下方式来查看MaxCompute应用程序的资源占用情况:
    使用MaxCompute命令行工具odpscmd:在odpscmd中,可以使用tunnel命令或者instance命令来查看应用程序的资源占用情况。例如,使用tunnel命令查看上传任务的资源占用情况:
    Copy
    tunnel show projectName.tableName -uploads
    使用instance命令查看作业的资源占用情况:
    smali
    Copy
    instance list -p projectName -d 1
    instance info projectName.jobId
    使用MaxCompute API:MaxCompute提供了丰富的API接口,可以通过API来获取应用程序的资源占用情况。例如,可以使用GetInstance运行作业实例的状态和资源记录,使用GetTunnelUpload和GetTunnelDownload查询上传和下载任务的状态和资源使用情况。
    routeros
    Copy
    from odps import ODPS
    odps = ODPS(access_id='', secret_access_key='', project='', endpoint='')

    查询上传任务的状态和资源使用情况

    upload_session = odps.tunnel.create_upload_session('')
    upload_id = upload_session.id
    status = odps.tunnel.get_upload_status(upload_id)
    print(status)

    查询作业实例的状态和资源使用情况

    instance = odps.instances.get('')
    print(instance.status)
    print(instance.resource['used_memory'])
    需要注意的是,MaxCompute的资源分配和管理是由MaxCompute自身的资源管理系统负责的,MaxCompute并没有直接使用YARN等第三方资源管理系统。

    2023-07-29 13:08:42
    赞同 展开评论 打赏
  • 大数据计算MaxCompute是阿里云的托管计算服务,它使用MaxCompute自研的计算引擎进行作业调度和资源管理。在MaxCompute中,没有直接提供类似YARN页面的界面来查看各个应用程序的资源占用情况。

    然而,MaxCompute提供了一些监控和调优工具,可以帮助您了解和管理作业的资源使用情况。这些工具包括:

    1. DataWorks:DataWorks是阿里云提供的一站式数据开发和运维平台,可以与MaxCompute无缝集成。在DataWorks中,您可以查看和监控MaxCompute作业的运行状态、资源占用情况以及性能指标等。通过DataWorks,您可以更方便地进行作业调度、监控和调优。

    2. MaxCompute Console:MaxCompute Console是MaxCompute提供的命令行工具,通过MaxCompute Console,您可以执行MaxCompute作业、查看作业日志和任务状态等。虽然它没有像YARN页面那样的图形化界面,但您可以通过查询作业日志和获取作业状态信息来大致了解作业的资源使用情况。

    3. 监控指标和API:MaxCompute还提供了一系列监控指标和API,可以用于获取有关作业和资源的详细信息。您可以使用这些指标和API编写脚本或自定义监控程序,以定期收集和分析作业的资源占用情况。

    需要注意的是,MaxCompute主要关注作业级别的资源管理和调度,而不是像YARN那样提供细粒度的任务级别资源管理。如果您需要更详细的任务级别资源占用情况,可能需要结合使用其他监控工具或进行自定义开发。

    总结:在大数据计算MaxCompute中,没有像YARN页面那样的直接界面用于查看各个应用程序的资源占用情况。但您可以利用DataWorks、MaxCompute Console、监控指标和API等工具来获取作业级别的资源使用情况并进行调优。

    2023-07-28 21:38:40
    赞同 展开评论 打赏
  • MaxCompute没有yarn页面。
    如果需要看MaxCompute的计算资源使用情况,按量付费模式看Information Schema.TASKS_HISTORY的cost_cpu字段值。
    包年包月模式看MaxCompute控制台的quota管理。https://help.aliyun.com/zh/maxcompute/user-guide/manage-quotas-in-the-new-maxcompute-console?spm=a2c4g.11186623.0.0 此回答整理自钉群“MaxCompute开发者社区2群”

    2023-07-11 18:03:38
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    深度学习+大数据 TensorFlow on Yarn 立即下载
    Docker on Yarn 微服务实践 立即下载
    深度学习+大数据-TensorFlow on Yarn 立即下载