大数据计算MaxCompute有没有yarn页面?查看各个application的资源占用情况。
在MaxCompute中,虽然没有专门的YARN页面,但是您可以通过调用MaxCompute的API或使用MaxCompute客户端工具来查看各个应用程序的资源占用情况。
具体而言,您可以通过以下方式来查看MaxCompute应用程序的资源占用情况:
使用MaxCompute命令行工具odpscmd:在odpscmd中,可以使用tunnel命令或者instance命令来查看应用程序的资源占用情况。例如,使用tunnel命令查看上传任务的资源占用情况:
Copy
tunnel show projectName.tableName -uploads
使用instance命令查看作业的资源占用情况:
smali
Copy
instance list -p projectName -d 1
instance info projectName.jobId
使用MaxCompute API:MaxCompute提供了丰富的API接口,可以通过API来获取应用程序的资源占用情况。例如,可以使用GetInstance运行作业实例的状态和资源记录,使用GetTunnelUpload和GetTunnelDownload查询上传和下载任务的状态和资源使用情况。
routeros
Copy
from odps import ODPS
odps = ODPS(access_id='', secret_access_key='', project='', endpoint='')
upload_session = odps.tunnel.create_upload_session('')
upload_id = upload_session.id
status = odps.tunnel.get_upload_status(upload_id)
print(status)
instance = odps.instances.get('')
print(instance.status)
print(instance.resource['used_memory'])
需要注意的是,MaxCompute的资源分配和管理是由MaxCompute自身的资源管理系统负责的,MaxCompute并没有直接使用YARN等第三方资源管理系统。
大数据计算MaxCompute是阿里云的托管计算服务,它使用MaxCompute自研的计算引擎进行作业调度和资源管理。在MaxCompute中,没有直接提供类似YARN页面的界面来查看各个应用程序的资源占用情况。
然而,MaxCompute提供了一些监控和调优工具,可以帮助您了解和管理作业的资源使用情况。这些工具包括:
DataWorks:DataWorks是阿里云提供的一站式数据开发和运维平台,可以与MaxCompute无缝集成。在DataWorks中,您可以查看和监控MaxCompute作业的运行状态、资源占用情况以及性能指标等。通过DataWorks,您可以更方便地进行作业调度、监控和调优。
MaxCompute Console:MaxCompute Console是MaxCompute提供的命令行工具,通过MaxCompute Console,您可以执行MaxCompute作业、查看作业日志和任务状态等。虽然它没有像YARN页面那样的图形化界面,但您可以通过查询作业日志和获取作业状态信息来大致了解作业的资源使用情况。
监控指标和API:MaxCompute还提供了一系列监控指标和API,可以用于获取有关作业和资源的详细信息。您可以使用这些指标和API编写脚本或自定义监控程序,以定期收集和分析作业的资源占用情况。
需要注意的是,MaxCompute主要关注作业级别的资源管理和调度,而不是像YARN那样提供细粒度的任务级别资源管理。如果您需要更详细的任务级别资源占用情况,可能需要结合使用其他监控工具或进行自定义开发。
总结:在大数据计算MaxCompute中,没有像YARN页面那样的直接界面用于查看各个应用程序的资源占用情况。但您可以利用DataWorks、MaxCompute Console、监控指标和API等工具来获取作业级别的资源使用情况并进行调优。
MaxCompute没有yarn页面。
如果需要看MaxCompute的计算资源使用情况,按量付费模式看Information Schema.TASKS_HISTORY的cost_cpu字段值。
包年包月模式看MaxCompute控制台的quota管理。https://help.aliyun.com/zh/maxcompute/user-guide/manage-quotas-in-the-new-maxcompute-console?spm=a2c4g.11186623.0.0 此回答整理自钉群“MaxCompute开发者社区2群”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。