EMR按集群费用分摊 -- 传播标签实践

本文涉及的产品
轻量应用服务器 2vCPU 4GiB,适用于搭建容器环境
轻量应用服务器 4vCPU 16GiB,适用于搭建游戏自建服
轻量应用服务器 2vCPU 4GiB,适用于搭建Web应用/小程序
简介: E-MapReduce是构建于云服务器ECS之上,利用开源大数据生态系统,包括Apache Hadoop、Apache Spark、Kafka、Storm,为用户提供集群、作业、数据等管理一站式大数据处理分析业务。如果对于集群维度进行分账,包括集群里的实例及存储。

场景描述

E-MapReduce是构建于云服务器ECS之上,利用开源大数据生态系统,包括Apache Hadoop、Apache Spark、Kafka、Storm,为用户提供集群、作业、数据等管理一站式大数据处理分析业务。如果对于集群维度进行分账,包括集群里的实例及存储。

实现路径

为使用的集群打上对应的标签,在费用分析处看标签的使用情况。

标签设计及使用

在为阿里云资源创建标记策略时,请遵循最佳实践,更多请参考 阿里云标记策略标记最佳建议快速管理阿里云资源与人权钱关系——资源标记(TAG)策略

设计标签

对于标签设计,需要考虑统一格式,建议小写或者用_来分割单词,同时精简设计标签键。按照通常大家理解来设计名称,比如按用途设计名称。标签设计可能不仅仅用于某个用途,比如可以自动化管理同时也可以用于费用分摊。如果有变化,需要关注标签变化带来的影响。

本文中例子标签设计如下(标签键:标签值):

  • 资源归归属组 team:xxx_team
  • 资源安全等级 security_level:middle
  • 资源使用者 owner:xxxx
  • 资源归属财务分组 finance_group:xxxx_group

新增资源以及标签传播

入口 标签 继承 作用于
创建资源时打标签 owner:zasa
team:emr_team
security_level:middle
finance_group:emr_group
集群
ECS实例 
磁盘
网卡
创建后系统自动产生系统标签 "acs:emr:clusterId":"C-xxxxx"
"acs:emr:hostGroupType":"CORE"或者"MASTER"
ECS实例
集群上打标签 addTagsOnlyIncluster 部分是 集群C-xxxxx
ECS实例 i-xxxxx
由集群里进行弹性伸缩 owner:zasa
team:emr_team
security_level:middle
finance_group:emr_group
磁盘
由集群里进行弹性伸缩 owner:zasa
team:emr_team
security_level:middle
finance_group:emr_group
acs:autoscaling:scalingGroupId:asg-xxxxx
acs:emr:clusterId:C-xxxxx
acs:emr:hostGroupType:TASK
ECS实例
扩容指定规格等 owner:zasa
team:emr_team
security_level:middle
finance_group:emr_group
acs:emr:clusterId:C-xxxxx
acs:emr:hostGroupType:CORE
ECS实例
扩容指定规格等 owner:zasa
team:emr_team
security_level:middle
finance_group:emr_group
网卡
磁盘

成本分摊

阿里云费用账单-账单明细中单报告可让您按标签细分阿里云成本。这里可以按照集群来拆分账单。

  • 目前标签分摊支持 按天/按月/按小时 维度汇聚费用
  • 打标签后需要1天后,才能看到标签费用

参考基于标签成本分摊管理

EMR支持标签成本分摊资源

资源类型 产品类型 支持控制台 支持API 支持创建时打标签 支持分账
ECS实例 云服务器 ECS
云盘 云服务器 ECS
集群 EMR
相关实践学习
2分钟自动化部署人生模拟器
本场景将带你借助云效流水线Flow实现人生模拟器小游戏的自动化部署
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情: https://www.aliyun.com/product/ecs
目录
打赏
0
0
0
0
225
分享
相关文章
阿里云 EMR 发布托管弹性伸缩功能,支持自动调整集群大小,最高降本60%
阿里云开源大数据平台 E-MapReduce 重磅推出托管弹性伸缩功能,基于 EMR 托管弹性伸缩功能,您可以指定集群的最小和最大计算限制,EMR 会持续对与集群上运行的工作负载相关的关键指标进行采样,自动调整集群大小,以获得最佳性能和资源利用率。
146 15
活动实践 | 基于EMR StarRocks实现游戏玩家画像和行为分析
基于阿里云EMR Serverless StarRocks,利用其物化视图和DLF读写Paimon等能力,构建游戏玩家画像和行为分析平台。通过收集、处理玩家行为日志,最终以报表形式展示分析结果,帮助业务人员决策。
EMR Remote Shuffle Service实践问题之阿里云RSS的开源计划内容如何解决
EMR Remote Shuffle Service实践问题之阿里云RSS的开源计划内容如何解决
EMR Remote Shuffle Service实践问题之集群中落地阿里云RSS如何解决
EMR Remote Shuffle Service实践问题之集群中落地阿里云RSS如何解决
EMR Remote Shuffle Service实践问题之Leader节点变化导致的中断如何解决
EMR Remote Shuffle Service实践问题之Leader节点变化导致的中断如何解决
EMR Remote Shuffle Service实践问题之Mapper的首次PushData请求如何解决
EMR Remote Shuffle Service实践问题之Mapper的首次PushData请求如何解决
EMR Remote Shuffle Service实践问题之混合Cosco和Zeus的设计如何解决
EMR Remote Shuffle Service实践问题之混合Cosco和Zeus的设计如何解决
EMR Remote Shuffle Service实践问题之改进Shuffle性能如何解决
EMR Remote Shuffle Service实践问题之改进Shuffle性能如何解决
EMR Remote Shuffle Service实践问题之性能和稳定性问题如何解决
EMR Remote Shuffle Service实践问题之性能和稳定性问题如何解决
|
3月前
|
有奖实践,基于EMR StarRocks实现游戏玩家画像和行为分析
阿里云EMR-StarRocks联合镜舟科技,基于EMR-StarRocks实现游戏实时湖仓分析,免费试用物化视图、Paimon写入查询等新能力,前45位赢取StarRocks定制T恤、Lamy钢笔,小米充电宝,阿里云拍拍灯等活动礼品,前500位均可获得创意马克杯。
112 3
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等