EMR按集群费用分摊 -- 传播标签实践

简介: E-MapReduce是构建于云服务器ECS之上,利用开源大数据生态系统,包括Apache Hadoop、Apache Spark、Kafka、Storm,为用户提供集群、作业、数据等管理一站式大数据处理分析业务。如果对于集群维度进行分账,包括集群里的实例及存储。

场景描述

E-MapReduce是构建于云服务器ECS之上,利用开源大数据生态系统,包括Apache Hadoop、Apache Spark、Kafka、Storm,为用户提供集群、作业、数据等管理一站式大数据处理分析业务。如果对于集群维度进行分账,包括集群里的实例及存储。

实现路径

为使用的集群打上对应的标签,在费用分析处看标签的使用情况。

标签设计及使用

在为阿里云资源创建标记策略时,请遵循最佳实践,更多请参考 阿里云标记策略标记最佳建议快速管理阿里云资源与人权钱关系——资源标记(TAG)策略

设计标签

对于标签设计,需要考虑统一格式,建议小写或者用_来分割单词,同时精简设计标签键。按照通常大家理解来设计名称,比如按用途设计名称。标签设计可能不仅仅用于某个用途,比如可以自动化管理同时也可以用于费用分摊。如果有变化,需要关注标签变化带来的影响。

本文中例子标签设计如下(标签键:标签值):

  • 资源归归属组 team:xxx_team
  • 资源安全等级 security_level:middle
  • 资源使用者 owner:xxxx
  • 资源归属财务分组 finance_group:xxxx_group

新增资源以及标签传播

入口 标签 继承 作用于
创建资源时打标签 owner:zasa
team:emr_team
security_level:middle
finance_group:emr_group
集群
ECS实例 
磁盘
网卡
创建后系统自动产生系统标签 "acs:emr:clusterId":"C-xxxxx"
"acs:emr:hostGroupType":"CORE"或者"MASTER"
ECS实例
集群上打标签 addTagsOnlyIncluster 部分是 集群C-xxxxx
ECS实例 i-xxxxx
由集群里进行弹性伸缩 owner:zasa
team:emr_team
security_level:middle
finance_group:emr_group
磁盘
由集群里进行弹性伸缩 owner:zasa
team:emr_team
security_level:middle
finance_group:emr_group
acs:autoscaling:scalingGroupId:asg-xxxxx
acs:emr:clusterId:C-xxxxx
acs:emr:hostGroupType:TASK
ECS实例
扩容指定规格等 owner:zasa
team:emr_team
security_level:middle
finance_group:emr_group
acs:emr:clusterId:C-xxxxx
acs:emr:hostGroupType:CORE
ECS实例
扩容指定规格等 owner:zasa
team:emr_team
security_level:middle
finance_group:emr_group
网卡
磁盘

成本分摊

阿里云费用账单-账单明细中单报告可让您按标签细分阿里云成本。这里可以按照集群来拆分账单。

  • 目前标签分摊支持 按天/按月/按小时 维度汇聚费用
  • 打标签后需要1天后,才能看到标签费用

参考基于标签成本分摊管理

EMR支持标签成本分摊资源

资源类型 产品类型 支持控制台 支持API 支持创建时打标签 支持分账
ECS实例 云服务器 ECS
云盘 云服务器 ECS
集群 EMR
相关实践学习
通义万相文本绘图与人像美化
本解决方案展示了如何利用自研的通义万相AIGC技术在Web服务中实现先进的图像生成。
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
存储 运维 Serverless
千万级数据秒级响应!碧桂园基于 EMR Serverless StarRocks 升级存算分离架构实践
碧桂园服务通过引入 EMR Serverless StarRocks 存算分离架构,解决了海量数据处理中的资源利用率低、并发能力不足等问题,显著降低了硬件和运维成本。实时查询性能提升8倍,查询出错率减少30倍,集群数据 SLA 达99.99%。此次技术升级不仅优化了用户体验,还结合AI打造了“一看”和“—问”智能场景助力精准决策与风险预测。
1301 69
|
存储 分布式计算 OLAP
百观科技基于阿里云 EMR 的数据湖实践分享
百观科技为应对海量复杂数据处理的算力与成本挑战,基于阿里云 EMR 构建数据湖。EMR 依托高可用的 OSS 存储、开箱即用的 Hadoop/Spark/Iceberg 等开源技术生态及弹性调度,实现数据接入、清洗、聚合与分析全流程。通过 DLF 与 Iceberg 的优化、阶梯式弹性调度(资源利用率提升至70%)及倚天 ARM 机型搭配 EMR Trino 方案,兼顾性能与成本,支撑数据分析需求,降低算力成本。
907 59
|
分布式计算 大数据 MaxCompute
EMR Remote Shuffle Service实践问题之阿里云RSS的开源计划内容如何解决
EMR Remote Shuffle Service实践问题之阿里云RSS的开源计划内容如何解决
|
分布式计算 测试技术 调度
EMR Remote Shuffle Service实践问题之集群中落地阿里云RSS如何解决
EMR Remote Shuffle Service实践问题之集群中落地阿里云RSS如何解决
|
SQL 测试技术 流计算
EMR Remote Shuffle Service实践问题之Leader节点变化导致的中断如何解决
EMR Remote Shuffle Service实践问题之Leader节点变化导致的中断如何解决
EMR Remote Shuffle Service实践问题之Mapper的首次PushData请求如何解决
EMR Remote Shuffle Service实践问题之Mapper的首次PushData请求如何解决
|
存储 分布式计算 对象存储
EMR Remote Shuffle Service实践问题之混合Cosco和Zeus的设计如何解决
EMR Remote Shuffle Service实践问题之混合Cosco和Zeus的设计如何解决
|
存储 RDMA
EMR Remote Shuffle Service实践问题之改进Shuffle性能如何解决
EMR Remote Shuffle Service实践问题之改进Shuffle性能如何解决
|
存储 SQL 弹性计算
EMR Remote Shuffle Service实践问题之性能和稳定性问题如何解决
EMR Remote Shuffle Service实践问题之性能和稳定性问题如何解决
|
SQL 弹性计算 分布式计算
阿里云 EMR 发布托管弹性伸缩功能,支持自动调整集群大小,最高降本60%
阿里云开源大数据平台 E-MapReduce 重磅推出托管弹性伸缩功能,基于 EMR 托管弹性伸缩功能,您可以指定集群的最小和最大计算限制,EMR 会持续对与集群上运行的工作负载相关的关键指标进行采样,自动调整集群大小,以获得最佳性能和资源利用率。
753 15

热门文章

最新文章