5.2.7 运维
5.2.7.1 元数据信息
5.2.7.1.1 项目级别元数据
各个集群的元数据信息实际上是存储在各个集群的information_schema这个project中。project的owner为产品的服务账号。如5.2.2.2.4中介绍,此种场景,产品设计上正是通过package的授权模式,将元数据信息开放给到各个租户使用。
通过安装命令,获得当前项目的原数据信息:
install package Information_Schema.systables;
查看Information Schema所提供的视图列表:
describe package Information_Schema.systables;
应用场景举例:
1.当前项目为myproject1,在myproject1中,执行如下命令查询当前myproject1中所有表的元数据信息
odps@myproject1>select * from Information_Schema.tables;
2.查询当前项目内的作业历史信息。可添加日期分区进行过滤
odps@myproject1>select * from Information_Schema.tasks_history where ds='yyyymmdd' limit 100;
5.2.7.1.2 租户级别元数据
前面提到一个集群实际上有一个元数据的project——information_schema。这里的集群在MaxCompute的产品设计上,和元数据中心是一对一的概念。元数据中心分类如下:
•中国内地地域(上海、杭州、北京、深圳、成都、张家口)为一个元数据中心
•中国香港为一个元数据中心
•海外的每一个地域为一个元数据中心
•金融云(上海金区、深圳金区)为一个元数据中心
•政务云(北京)为一个元数据中心
有许多用户会有分析和查看自己租户下所有project的元数据信息,而在原来的项目级别的元数据方法下,是无法实现的。因此,产品目前已经推出租户级别元数据(当前仅在中国内地地域,邀测开放)。
5.2.7.2 MaxCompute计算资源运维
MaxCompute管家是运维中最为重要的模块。它是提供作业信息查看、资源消耗查看(包含存储和CU资源)、项目查看及调整、配额组增删改查等涉及日常运维能力的管理平台。当然此处主要是针对包年包月预付费形式的MaxCompute项目。其中涉及到的最重要的概念是:配额组(Quota)。配额组是MaxCompute的计算资源(CPU及内存)。在MaxCompute中支持根据计算作业对计算资源的需求,指定匹配的Quota,助力您高效使用计算资源。
5.2.7.2.1 MaxCompute project级别指定配额组
如开篇5.2.1.1.1中所解释,在创建MaxCompute项目时可以指定三种规格类型的其中一种。但由于项目开发生命周期的推进,目前想要从按量付费切换为包年包月的配额组(已经购买的前提下),则可以在DataWorks的 工作空间配置 � 计算引擎信息 中进行 Quota组切换,选到您想要分配给该项目的配额组即可。
另外,如果只是需要包年包月配额组的切换,则可以通过CU管家来完成(CU管家暂不支持三种规格类型间进行切换)。在CU管家左侧的导航栏选择 项目运维 �包年包月项目 � 操作栏点击“修改” 即可进行切换配额组的操作。
5.2.7.2.2 作业级别指定配额组
除了通过project级别关联配额组外,MaxCompute还支持单个作业通过在SQL前增加命令的方式,来指定单个作业运行的配额组。
在作业的Query前使用如下命令指定Quota。
set odps.task.wlm.quota=;
此处,quotaname即为Quota名称。