EMR按集群费用分摊 -- 传播标签实践

简介: E-MapReduce是构建于云服务器ECS之上,利用开源大数据生态系统,包括Apache Hadoop、Apache Spark、Kafka、Storm,为用户提供集群、作业、数据等管理一站式大数据处理分析业务。如果对于集群维度进行分账,包括集群里的实例及存储。

场景描述

E-MapReduce是构建于云服务器ECS之上,利用开源大数据生态系统,包括Apache Hadoop、Apache Spark、Kafka、Storm,为用户提供集群、作业、数据等管理一站式大数据处理分析业务。如果对于集群维度进行分账,包括集群里的实例及存储。

实现路径

为使用的集群打上对应的标签,在费用分析处看标签的使用情况。

标签设计及使用

在为阿里云资源创建标记策略时,请遵循最佳实践,更多请参考 阿里云标记策略标记最佳建议快速管理阿里云资源与人权钱关系——资源标记(TAG)策略

设计标签

对于标签设计,需要考虑统一格式,建议小写或者用_来分割单词,同时精简设计标签键。按照通常大家理解来设计名称,比如按用途设计名称。标签设计可能不仅仅用于某个用途,比如可以自动化管理同时也可以用于费用分摊。如果有变化,需要关注标签变化带来的影响。

本文中例子标签设计如下(标签键:标签值):

  • 资源归归属组 team:xxx_team
  • 资源安全等级 security_level:middle
  • 资源使用者 owner:xxxx
  • 资源归属财务分组 finance_group:xxxx_group

新增资源以及标签传播

入口 标签 继承 作用于
创建资源时打标签 owner:zasa
team:emr_team
security_level:middle
finance_group:emr_group
集群
ECS实例 
磁盘
网卡
创建后系统自动产生系统标签 "acs:emr:clusterId":"C-xxxxx"
"acs:emr:hostGroupType":"CORE"或者"MASTER"
ECS实例
集群上打标签 addTagsOnlyIncluster 部分是 集群C-xxxxx
ECS实例 i-xxxxx
由集群里进行弹性伸缩 owner:zasa
team:emr_team
security_level:middle
finance_group:emr_group
磁盘
由集群里进行弹性伸缩 owner:zasa
team:emr_team
security_level:middle
finance_group:emr_group
acs:autoscaling:scalingGroupId:asg-xxxxx
acs:emr:clusterId:C-xxxxx
acs:emr:hostGroupType:TASK
ECS实例
扩容指定规格等 owner:zasa
team:emr_team
security_level:middle
finance_group:emr_group
acs:emr:clusterId:C-xxxxx
acs:emr:hostGroupType:CORE
ECS实例
扩容指定规格等 owner:zasa
team:emr_team
security_level:middle
finance_group:emr_group
网卡
磁盘

成本分摊

阿里云费用账单-账单明细中单报告可让您按标签细分阿里云成本。这里可以按照集群来拆分账单。

  • 目前标签分摊支持 按天/按月/按小时 维度汇聚费用
  • 打标签后需要1天后,才能看到标签费用

参考基于标签成本分摊管理

EMR支持标签成本分摊资源

资源类型 产品类型 支持控制台 支持API 支持创建时打标签 支持分账
ECS实例 云服务器 ECS
云盘 云服务器 ECS
集群 EMR
相关实践学习
2分钟自动化部署人生模拟器
本场景将带你借助云效流水线Flow实现人生模拟器小游戏的自动化部署
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
存储 SQL 分布式计算
阿里云全托管flink-vvp平台hudi connector实践(基于emr集群oss-hdfs存储)
阿里云全托管flink-vvp平台hudi sink connector实践,本文数据湖hudi基于阿里云E-MapReduce产品,以云对象存储oss-hdfs作为存储
|
5天前
|
SQL 安全 Serverless
活动实践 | 基于EMR StarRocks实现游戏玩家画像和行为分析
基于阿里云EMR Serverless StarRocks,利用其物化视图和DLF读写Paimon等能力,构建游戏玩家画像和行为分析平台。通过收集、处理玩家行为日志,最终以报表形式展示分析结果,帮助业务人员决策。
|
10天前
|
Serverless BI
有奖实践,基于EMR StarRocks实现游戏玩家画像和行为分析
阿里云EMR-StarRocks联合镜舟科技,基于EMR-StarRocks实现游戏实时湖仓分析,免费试用物化视图、Paimon写入查询等新能力,前45位赢取StarRocks定制T恤、Lamy钢笔,小米充电宝,阿里云拍拍灯等活动礼品,前500位均可获得创意马克杯。
64 3
|
4月前
|
分布式计算 大数据 MaxCompute
EMR Remote Shuffle Service实践问题之阿里云RSS的开源计划内容如何解决
EMR Remote Shuffle Service实践问题之阿里云RSS的开源计划内容如何解决
|
4月前
|
分布式计算 测试技术 调度
EMR Remote Shuffle Service实践问题之集群中落地阿里云RSS如何解决
EMR Remote Shuffle Service实践问题之集群中落地阿里云RSS如何解决
|
4月前
|
SQL 测试技术 流计算
EMR Remote Shuffle Service实践问题之Leader节点变化导致的中断如何解决
EMR Remote Shuffle Service实践问题之Leader节点变化导致的中断如何解决
|
4月前
|
缓存
EMR Remote Shuffle Service实践问题之Mapper的首次PushData请求如何解决
EMR Remote Shuffle Service实践问题之Mapper的首次PushData请求如何解决
|
4月前
|
存储 分布式计算 对象存储
EMR Remote Shuffle Service实践问题之混合Cosco和Zeus的设计如何解决
EMR Remote Shuffle Service实践问题之混合Cosco和Zeus的设计如何解决
|
4月前
|
存储 RDMA
EMR Remote Shuffle Service实践问题之改进Shuffle性能如何解决
EMR Remote Shuffle Service实践问题之改进Shuffle性能如何解决
|
4月前
|
存储 SQL 弹性计算
EMR Remote Shuffle Service实践问题之性能和稳定性问题如何解决
EMR Remote Shuffle Service实践问题之性能和稳定性问题如何解决
下一篇
DataWorks