带你读《企业级云原生白皮书项目实战》——5.2.7 运维

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 带你读《企业级云原生白皮书项目实战》——5.2.7 运维

5.2.7 运维


5.2.7.1 元数据信息

5.2.7.1.1 项目级别元数据

各个集群的元数据信息实际上是存储在各个集群的information_schema这个project中。project的owner为产品的服务账号。如5.2.2.2.4中介绍,此种场景,产品设计上正是通过package的授权模式,将元数据信息开放给到各个租户使用。


通过安装命令,获得当前项目的原数据信息:

install package Information_Schema.systables;


查看Information Schema所提供的视图列表:

describe package Information_Schema.systables;

应用场景举例:

1.当前项目为myproject1,在myproject1中,执行如下命令查询当前myproject1中所有表的元数据信息

odps@myproject1>select * from Information_Schema.tables;

2.查询当前项目内的作业历史信息。可添加日期分区进行过滤

odps@myproject1>select * from Information_Schema.tasks_history where ds='yyyymmdd' limit 100;


5.2.7.1.2 租户级别元数据

前面提到一个集群实际上有一个元数据的project——information_schema。这里的集群在MaxCompute的产品设计上,和元数据中心是一对一的概念。元数据中心分类如下:

•中国内地地域(上海、杭州、北京、深圳、成都、张家口)为一个元数据中心

•中国香港为一个元数据中心

•海外的每一个地域为一个元数据中心

•金融云(上海金区、深圳金区)为一个元数据中心

•政务云(北京)为一个元数据中心

有许多用户会有分析和查看自己租户下所有project的元数据信息,而在原来的项目级别的元数据方法下,是无法实现的。因此,产品目前已经推出租户级别元数据(当前仅在中国内地地域,邀测开放)。


5.2.7.2 MaxCompute计算资源运维

MaxCompute管家是运维中最为重要的模块。它是提供作业信息查看、资源消耗查看(包含存储和CU资源)、项目查看及调整、配额组增删改查等涉及日常运维能力的管理平台。当然此处主要是针对包年包月预付费形式的MaxCompute项目。其中涉及到的最重要的概念是:配额组(Quota)。配额组是MaxCompute的计算资源(CPU及内存)。在MaxCompute中支持根据计算作业对计算资源的需求,指定匹配的Quota,助力您高效使用计算资源。


5.2.7.2.1 MaxCompute project级别指定配额组

如开篇5.2.1.1.1中所解释,在创建MaxCompute项目时可以指定三种规格类型的其中一种。但由于项目开发生命周期的推进,目前想要从按量付费切换为包年包月的配额组(已经购买的前提下),则可以在DataWorks的 工作空间配置 � 计算引擎信息 中进行 Quota组切换,选到您想要分配给该项目的配额组即可。

另外,如果只是需要包年包月配额组的切换,则可以通过CU管家来完成(CU管家暂不支持三种规格类型间进行切换)。在CU管家左侧的导航栏选择 项目运维 �包年包月项目 操作栏点击“修改” 即可进行切换配额组的操作。


5.2.7.2.2 作业级别指定配额组

除了通过project级别关联配额组外,MaxCompute还支持单个作业通过在SQL前增加命令的方式,来指定单个作业运行的配额组。

在作业的Query前使用如下命令指定Quota。

set odps.task.wlm.quota=;

此处,quotaname即为Quota名称。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
3月前
|
Cloud Native 安全 大数据
云原生与大数据
【8月更文挑战第27天】云原生与大数据
60 5
|
5天前
|
存储 Cloud Native 块存储
EBS深度解析:云原生时代企业级块存储
企业上云的策略,从 Cloud-Hosting 转向 Serverless 架构。块存储作为企业应用上云的核心存储产品,将通过 Serverless 化来加速新的计算范式全面落地。在本话题中,我们将会介绍阿里云块存储企业级能力的创新,深入解析背后的技术细节,分享对未来趋势的判断。
|
3月前
|
运维 算法 数据可视化
【2021 高校大数据挑战赛-智能运维中的异常检测与趋势预测】2 方案设计与实现-Python
文章详细介绍了参加2021高校大数据挑战赛中智能运维异常检测与趋势预测任务的方案设计与Python实现,包括问题一的异常点和异常周期检测、问题二的异常预测多变量分类问题,以及问题三的多变量KPI指标预测问题的算法过程描述和代码实现。
73 0
|
19天前
|
机器学习/深度学习 人工智能 运维
智能运维:大数据与AI的融合之道###
【10月更文挑战第20天】 运维领域正经历一场静悄悄的变革,大数据与人工智能的深度融合正重塑着传统的运维模式。本文探讨了智能运维如何借助大数据分析和机器学习算法,实现从被动响应到主动预防的转变,提升系统稳定性和效率的同时,降低了运维成本。通过实例解析,揭示智能运维在现代IT架构中的核心价值,为读者提供一份关于未来运维趋势的深刻洞察。 ###
72 10
|
19天前
|
数据采集 分布式计算 OLAP
最佳实践:AnalyticDB在企业级大数据分析中的应用案例
【10月更文挑战第22天】在数字化转型的大潮中,企业对数据的依赖程度越来越高。如何高效地处理和分析海量数据,从中提取有价值的洞察,成为企业竞争力的关键。作为阿里云推出的一款实时OLAP数据库服务,AnalyticDB(ADB)凭借其强大的数据处理能力和亚秒级的查询响应时间,已经在多个行业和业务场景中得到了广泛应用。本文将从个人的角度出发,分享多个成功案例,展示AnalyticDB如何助力企业在广告投放效果分析、用户行为追踪、财务报表生成等领域实现高效的数据处理与洞察发现。
45 0
|
4月前
|
数据采集 运维 Cloud Native
Flink+Paimon在阿里云大数据云原生运维数仓的实践
构建实时云原生运维数仓以提升大数据集群的运维能力,采用 Flink+Paimon 方案,解决资源审计、拓扑及趋势分析需求。
18507 54
Flink+Paimon在阿里云大数据云原生运维数仓的实践
|
3月前
|
分布式计算 大数据 数据处理
【大数据管理新纪元】EMR Delta Lake 与 DLF 深度集成:解锁企业级数据湖的无限潜能!
【8月更文挑战第26天】随着大数据技术的发展,Apache Spark已成为处理大规模数据集的首选工具。亚马逊的EMR服务简化了Spark集群的搭建和运行流程。结合使用Delta Lake(提供ACID事务保证和数据版本控制)与DLF(加强数据访问控制及管理),可以显著提升数据湖的可靠性和性能。本文通过一个电商公司的具体案例展示了如何在EMR上部署集成Delta Lake和DLF的环境,以及这一集成方案带来的几大优势:增强的可靠性、细粒度访问控制、性能优化以及易于管理的特性。这为数据工程师提供了一个高效且灵活的数据湖平台,简化了数据湖的建设和维护工作。
59 1
|
3月前
|
存储 运维 Cloud Native
"Flink+Paimon:阿里云大数据云原生运维数仓的创新实践,引领实时数据处理新纪元"
【8月更文挑战第2天】Flink+Paimon在阿里云大数据云原生运维数仓的实践
274 3
|
3月前
|
机器学习/深度学习 运维 算法
【2021 高校大数据挑战赛-智能运维中的异常检测与趋势预测】1 赛后总结与分析
对2021高校大数据挑战赛中智能运维异常检测与趋势预测赛题的赛后总结与分析,涉及赛题解析、不足与改进,并提供了异常检测、异常预测和趋势预测的方法和模型选择的讨论。
109 0
【2021 高校大数据挑战赛-智能运维中的异常检测与趋势预测】1 赛后总结与分析
|
4月前
|
存储 搜索推荐 数据建模
阿里巴巴大数据实践之数据建模:构建企业级数据湖
阿里巴巴通过构建高效的数据湖和实施先进的数据建模策略,实现了数据驱动的业务增长。这些实践不仅提升了内部运营效率,也为客户提供了更好的服务体验。随着数据量的不断增长和技术的不断创新,阿里巴巴将持续优化其数据建模方法,以适应未来的变化和发展。