EMR按集群费用分摊 -- 传播标签实践

简介: E-MapReduce是构建于云服务器ECS之上,利用开源大数据生态系统,包括Apache Hadoop、Apache Spark、Kafka、Storm,为用户提供集群、作业、数据等管理一站式大数据处理分析业务。如果对于集群维度进行分账,包括集群里的实例及存储。

场景描述

E-MapReduce是构建于云服务器ECS之上,利用开源大数据生态系统,包括Apache Hadoop、Apache Spark、Kafka、Storm,为用户提供集群、作业、数据等管理一站式大数据处理分析业务。如果对于集群维度进行分账,包括集群里的实例及存储。

实现路径

为使用的集群打上对应的标签,在费用分析处看标签的使用情况。

标签设计及使用

在为阿里云资源创建标记策略时,请遵循最佳实践,更多请参考 阿里云标记策略标记最佳建议快速管理阿里云资源与人权钱关系——资源标记(TAG)策略

设计标签

对于标签设计,需要考虑统一格式,建议小写或者用_来分割单词,同时精简设计标签键。按照通常大家理解来设计名称,比如按用途设计名称。标签设计可能不仅仅用于某个用途,比如可以自动化管理同时也可以用于费用分摊。如果有变化,需要关注标签变化带来的影响。

本文中例子标签设计如下(标签键:标签值):

  • 资源归归属组 team:xxx_team
  • 资源安全等级 security_level:middle
  • 资源使用者 owner:xxxx
  • 资源归属财务分组 finance_group:xxxx_group

新增资源以及标签传播

入口 标签 继承 作用于
创建资源时打标签 owner:zasa
team:emr_team
security_level:middle
finance_group:emr_group
集群
ECS实例 
磁盘
网卡
创建后系统自动产生系统标签 "acs:emr:clusterId":"C-xxxxx"
"acs:emr:hostGroupType":"CORE"或者"MASTER"
ECS实例
集群上打标签 addTagsOnlyIncluster 部分是 集群C-xxxxx
ECS实例 i-xxxxx
由集群里进行弹性伸缩 owner:zasa
team:emr_team
security_level:middle
finance_group:emr_group
磁盘
由集群里进行弹性伸缩 owner:zasa
team:emr_team
security_level:middle
finance_group:emr_group
acs:autoscaling:scalingGroupId:asg-xxxxx
acs:emr:clusterId:C-xxxxx
acs:emr:hostGroupType:TASK
ECS实例
扩容指定规格等 owner:zasa
team:emr_team
security_level:middle
finance_group:emr_group
acs:emr:clusterId:C-xxxxx
acs:emr:hostGroupType:CORE
ECS实例
扩容指定规格等 owner:zasa
team:emr_team
security_level:middle
finance_group:emr_group
网卡
磁盘

成本分摊

阿里云费用账单-账单明细中单报告可让您按标签细分阿里云成本。这里可以按照集群来拆分账单。

  • 目前标签分摊支持 按天/按月/按小时 维度汇聚费用
  • 打标签后需要1天后,才能看到标签费用

参考基于标签成本分摊管理

EMR支持标签成本分摊资源

资源类型 产品类型 支持控制台 支持API 支持创建时打标签 支持分账
ECS实例 云服务器 ECS
云盘 云服务器 ECS
集群 EMR
相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
存储 SQL 分布式计算
阿里云全托管flink-vvp平台hudi connector实践(基于emr集群oss-hdfs存储)
阿里云全托管flink-vvp平台hudi sink connector实践,本文数据湖hudi基于阿里云E-MapReduce产品,以云对象存储oss-hdfs作为存储
|
2月前
|
分布式计算 大数据 MaxCompute
EMR Remote Shuffle Service实践问题之阿里云RSS的开源计划内容如何解决
EMR Remote Shuffle Service实践问题之阿里云RSS的开源计划内容如何解决
|
2月前
|
分布式计算 测试技术 调度
EMR Remote Shuffle Service实践问题之集群中落地阿里云RSS如何解决
EMR Remote Shuffle Service实践问题之集群中落地阿里云RSS如何解决
|
2月前
|
SQL 测试技术 流计算
EMR Remote Shuffle Service实践问题之Leader节点变化导致的中断如何解决
EMR Remote Shuffle Service实践问题之Leader节点变化导致的中断如何解决
|
2月前
|
缓存
EMR Remote Shuffle Service实践问题之Mapper的首次PushData请求如何解决
EMR Remote Shuffle Service实践问题之Mapper的首次PushData请求如何解决
|
2月前
|
存储 分布式计算 对象存储
EMR Remote Shuffle Service实践问题之混合Cosco和Zeus的设计如何解决
EMR Remote Shuffle Service实践问题之混合Cosco和Zeus的设计如何解决
|
2月前
|
存储 RDMA
EMR Remote Shuffle Service实践问题之改进Shuffle性能如何解决
EMR Remote Shuffle Service实践问题之改进Shuffle性能如何解决
|
2月前
|
存储 SQL 弹性计算
EMR Remote Shuffle Service实践问题之性能和稳定性问题如何解决
EMR Remote Shuffle Service实践问题之性能和稳定性问题如何解决
|
1月前
|
SQL 存储 NoSQL
阿里云 EMR StarRocks 在七猫的应用和实践
本文整理自七猫资深大数据架构师蒋乾老师在 《阿里云 x StarRocks:极速湖仓第二季—上海站》的分享。
167 2
|
3月前
|
分布式计算 Java Serverless
EMR Serverless Spark 实践教程 | 通过 spark-submit 命令行工具提交 Spark 任务
本文以 ECS 连接 EMR Serverless Spark 为例,介绍如何通过 EMR Serverless spark-submit 命令行工具进行 Spark 任务开发。
371 7
EMR Serverless Spark 实践教程 | 通过 spark-submit 命令行工具提交 Spark 任务