洛小蒙
TA的个人档案
个人介绍
coding is all about communication
擅长的技术
- Java
- Python
- 前端开发
- Linux
- 数据库
- 高分内容
- 最新动态
- 文章
- 问答
-
发表了文章 2020-12-08
EMR按集群费用分摊 -- 传播标签实践
场景描述 E-MapReduce是构建于云服务器ECS之上，利用开源大数据生态系统，包括Apache Hadoop、Apache Spark、Kafka、Storm，为用户提供集群、作业、数据等管理一站式大数据处理分析业务。如果对于集群维度进行分账，包括集群里的实例及存储。 实现路径 为使用的集群打上对应的标签，在费用分析处看标签的使用情况。 标签设计及使用 在为阿里云资源创建标记策略时，请遵循最佳实践，更多请参考 阿里云标记策略、标记最佳建议、快速管理阿里云资源与人权钱关系——资源标记(TAG)策略： 设计标签 对于标签设计，需要考虑统一格式，建议小写或者用_来分割单词，同时精简设计标签键。按照通常大家理解来设计名称，比如按用途设计名称。标签设计可能不仅仅用于某个用途，比如可以自动化管理同时也可以用于费用分摊。如果有变化，需要关注标签变化带来的影响。 本文中例子标签设计如下（标签键:标签值）： 资源归归属组 team:xxx_team 资源安全等级 security_level:middle 资源使用者 owner:xxxx 资源归属财务分组 finance_group:xxxx_group 新增资源以及标签传播 入口 标签 继承 作用于 创建资源时打标签 owner:zasateam:emr_team security_level:middlefinance_group:emr_group 是 集群ECS实例 磁盘网卡 创建后系统自动产生系统标签 "acs:emr:clusterId":"C-xxxxx""acs:emr:hostGroupType":"CORE"或者"MASTER" 否 ECS实例 集群上打标签 addTagsOnlyIncluster 部分是 集群C-xxxxxECS实例 i-xxxxx 由集群里进行弹性伸缩 owner:zasateam:emr_team security_level:middlefinance_group:emr_group 是 磁盘 由集群里进行弹性伸缩 owner:zasateam:emr_team security_level:middlefinance_group:emr_group acs:autoscaling:scalingGroupId:asg-xxxxx acs:emr:clusterId:C-xxxxx acs:emr:hostGroupType:TASK 是 ECS实例 扩容指定规格等 owner:zasateam:emr_team security_level:middlefinance_group:emr_group acs:emr:clusterId:C-xxxxx acs:emr:hostGroupType:CORE 是 ECS实例 扩容指定规格等 owner:zasateam:emr_team security_level:middlefinance_group:emr_group 是 网卡 磁盘 成本分摊 阿里云费用账单-账单明细中单报告可让您按标签细分阿里云成本。这里可以按照集群来拆分账单。 目前标签分摊支持 按天/按月/按小时 维度汇聚费用 打标签后需要1天后，才能看到标签费用 参考基于标签成本分摊管理 EMR支持标签成本分摊资源 资源类型 产品类型 支持控制台 支持API 支持创建时打标签 支持分账 ECS实例 云服务器 ECS 是 是 是 是 云盘 云服务器 ECS 是 是 是 是 集群 EMR 是 是 是 是
-
发表了文章 2020-11-20
Dataworks坑记——小时级别依赖数据丢失问题
问题描述 A 小时级任务 (一天有24个节点) ，A依赖上游B , B 30分钟级任务（一天有48个节点），我们期望应该是一个节点依赖2个，但是第一个只依赖一个节点导致丢数据。 B调度配置如图： A调度配置如图 依赖关系 A依赖上游B 产出依赖关系 图上时间为定时时间就依赖结果：产出依赖是向前就近关联，不存在跨天依赖的情况 期望依赖关系 解决办法 调整任务A调度时间调度时间 大于 依赖的最晚节点的时间加上节点执行时间。（0点35任务A节点） > （0点30任务B节点）+ （小于1分钟） 执行结果 最后执行结果符合预期，图上时间为定时时间
-
发表了文章 2020-11-13
MaxCompute单字段拆分多行多列
解决场景 数据导入MaxCompute后，需要把某个字段String类型（多键值（key-value ）对 ） 拆分成多行，每行有都有key, value两列。 原数据： 比如uid (1234), region(cn-hz), tags, 其中tags值为“{k1:v1,k2:v2,k3:k4}” 期望处理结果： 转换成uid ,region,key,value 详细方案 准备表 插入数据 处理数据，查询处理结果 注意 边界情况 tags带特殊字符（,:等）需要自行测试 # 表结构 create table if not exists t1( region string, uid int, tags string )partitioned by (ds string) lifecycle 1; # 插入数据 ${dstime} 是变量，给定某天的值 insert overwrite table t1 partition (ds='${dstime}') select "cn-hz" as region,1234 as uid,"{k1:v1,k2:v2,k3:k4}" as tags ; # 结果拆分，这里考虑到如果tags的key包含“,” 或者 “:” 则可能需要对于数据做一些转义处理， # 下面例子是假设tags不包含“,” 或者 “:” # TRANS_ARRAY # 2 表示不变化的字段的个数， # “,”表示分割tags的分割符， # uid,region是不变化的字段， # SUBSTR(tags,2,LENGTH(tags)-2) 处理前后{}后的字段，如果后面的k1有引号需要注意引号的处理 SELECT uid, region, SPLIT_PART(tags, ":", 1) as key , SPLIT_PART(tags, ":", 2) as value FROM ( SELECT TRANS_ARRAY( 2 ,"," ,uid ,region ,SUBSTR(tags,2,LENGTH(tags)-2) ) AS (uid,region,tags) FROM t1 WHERE ds = "20201112" )tmp ; 参考文档： TRANS_ARRAY 相关使用说明
-
发表了文章 2020-05-09
对象存储（OSS）按桶（bucket）成本分摊
背景 阿里云对象存储服务（Object Storage Service，简称 OSS），是阿里云提供的海量、安全、低成本、高可靠的云存储服务。OSS 的计费方式分为按量计费和包年包月两种。OSS 服务费用由存储费用、流量费用、请求费用、数据处理费用、对象标签费用、传输加速费用组成，具体参考计量项和计费项。 场景 您想要基于bucket做费用分摊，可以基于bucket上打标签，在基于分账账单来查看标签使用情况， 标签设计及使用 在为阿里云资源创建标记策略时，请遵循最佳实践，更多请参考 阿里云标记策略、标记最佳建议、快速管理阿里云资源与人权钱关系——资源标记(TAG)策略： 打标签 点击进入对象存储控制台 左边tab点击bucket列表 根据名称/地域/存储类型选择对应的bucket 点击bucket名称，进入bucket详情 点击基础设置，下拉找到bucket标签，设置标签 本文中例子标签设计如下（标签键:标签值）： 资源归归属组 team:xxx_team 资源安全等级 security_level:middle_xxx 资源使用者 owner:xxxx 资源归属财务分组 finance_group:xxxx_group 资源归属应用名称 app_name:xxxx_service 资源归属应用分组 app_group:xxxx_team 成本分摊 阿里云费用管理-分账账单中单报告可让您按标签细分阿里云OSS成本。这里可以按照bucket来拆分账单。 打标签后需要1天后，才能在分账账单侧看到标签费用。查看分账账单。 显示标签 分拆标签 由于目前没有在费用分析侧透出，如果需要费用分析，可以导出后CSV里自行过滤及分析。 导出账单 OSS支持标签成本分摊资源 资源类型 产品类型 支持控制台 支持API 支持创建时打标签 支持分账 Bucket 对象存储 OSS 是 是 否 是 参考 基于标签成本分摊管理
-
发表了文章 2020-04-20
基于标签成本分摊管理
场景描述 在我们对于资源的使用过程中产生费用，大多数情况下需要进行费用分摊。比如按照使用者、部门、业务、应用等进行分摊。基于标签分摊成本工具，基于不同维度可以查看费用分摊情况。 实现路径 为使用的资源打上对应的标签，在费用分析处看标签的使用情况。 标签设计及使用 在为阿里云资源创建标记策略时，请遵循最佳实践，更多请参考 阿里云标记策略、标记最佳建议、快速管理阿里云资源与人权钱关系——资源标记(TAG)策略： 统一格式 对于阿里云跨所有资源类资源进行标记时，对标签使用注意大小写格式，一致地应用该格式,为了兼容各个产品大小写支持差异，建议全部使用小写。 按用途设计名称 按照用途，比如管理资源访问控制、成本跟踪、自动化和管理，来考虑支持多种用途的标签准则。 自动化工具管理 借助自动化工具来帮助管理资源标签。资源标记API结合运维编排进行编程控制，从而能够更简单地自动管理、搜索和筛选标记与资源。 精简设计标签键，设计更多标签。 为资源/服务等设计尽量多使用标签. 关注标签变化带来的影响 请记住，更改标签以适应不断变化的业务需求很容易，但要考虑未来更改的后果。例如，更改访问控制标签意味着您还必须更新引用这些标签并控制对资源的访问的策略。 本文中例子标签设计如下（标签键:标签值）： 资源归归属组 team:xxx_team 资源安全等级 security_level:middle 资源使用者 owner:xxxx 资源归属财务分组 finance_group:xxxx_group 资源归属应用名称 app_name:xxxx_service 资源归属应用分组 app_group:xxxx_team 新增资源 对于创建场景支持标签资源在创建的时候加上标签。 对于需要分账资源新增时需要对其进行标签操作，支持标签操作接口列表，参考资源管理-标签概述，也可以在各产品控制台进行操作。参考TAG和ResourceGroup使用介绍、使用标签编辑器管理资源标签 成本分摊 阿里云费用账单-账单明细中单报告可让您按标签细分阿里云成本。通常情况下，您使用业务标签（例如成本中心/业务部门、客户 或项目）来将阿里云成本与传统成本分配维度关联起来。但是，成本分配报告中可以包含任何标签。这使您可以将成本与技术或安全维度（例如特定应用程序、环境或合规性项目）关联起来。 目前标签分摊支持按天/按月维度汇聚费用 打标签后需要1天后，才能看到标签费用 参看费用分摊情况，首先在阿里云控制台顶部菜单栏费用下拉 - 选择续费管理 具体如下图：费用管理-费用分析，费用分析需要用户开通后才能使用。目前费用分析可免费使用，开通次日即有数据。财务云主账号开通使用后，默认可以分析各个财务子账号的费用数据。但各个子账号如要使用时，还需自己登录后开通。开通后条件筛选，选择你需要分摊的费用范围，如果是以标签筛选条件如下图所示。 以某个标签键作为分组维度，查看标签键下的标签值费用分摊情况。 支持标签成本分摊资源 资源类型 产品类型 支持控制台 支持API 支持创建时打标签 支持分账 ECS实例 云服务器 ECS 是 是 是 是 专有宿主机 云服务器 ECS 否 是 是 是 云盘 云服务器 ECS 是 是 是 是 分析型数据库PostgreSQL实例 分析型数据库PostgreSQL版 是 是 否 是 云数据库KvStore实例 云数据库Redis版 是 是 否 是 云数据库MongoDB实例 云数据库MongoDB版 是 是 否 是 RDS实例 云数据库RDS 是 是 否 是 数据库审计 数据库审计 是 是 否 是 新BGP高防IP DDoS高防（新BGP） 是 是 否 是 DDoS高防IP DDoS防护产品 是 是 否 是 VPN网关 专有网络VPC 否 是 否 是 API网关 API网关 否 是 否 是 共享带宽 专有网络VPC 否 是 否 是 弹性公网IP 专有网络VPC 否 是 否 是
滑动查看更多
2021年01月
2020年11月
2020年02月
2020年01月
-
01.18 23:17:04
发表了文章
2020-01-18 23:17:04
通过TAG将ECS实例（弹性扩缩容）自动加入云监控分组
通过TAG将ECS实例（弹性扩缩容）自动加入云监控分组
-
01.13 17:44:59发表了文章
2020-01-13 17:44:59
标记 (TAG) 您的堡垒机（bastionhost）资源
标记 (TAG) 您的堡垒机（bastionhost）资源
-
01.11 22:25:39发表了文章
2020-01-11 22:25:39
标记 (TAG) 您的运维编排(OOS)资源
标记 (TAG) 您的运维编排(OOS)资源
-
01.11 21:46:33发表了文章
2020-01-11 21:46:33
标记 (TAG) 您的函数计算（FC）资源
标记 (TAG) 您的函数计算（FC）资源 -
01.11 21:42:56发表了文章
2020-01-11 21:42:56
标记 (TAG) 您的 HBASE 数据库实例
标记 (TAG) 您的 HBASE 数据库实例
2019年12月
-
12.29 17:26:24发表了文章
2019-12-29 17:26:24
标记 (TAG) 您的 k8s 集群资源
标记 (TAG) 您的 k8s 集群资源
-
12.29 17:20:25发表了文章
2019-12-29 17:20:25
标记（TAG）您的DDoS高防实例资源
标记（TAG）您的DDoS高防实例资源
-
12.20 21:30:50发表了文章
2019-12-20 21:30:50
高阶实践：云监控基于tag自动化监控
高阶实践：云监控基于tag自动化监控
-
12.20 20:22:44发表了文章
2019-12-20 20:22:44
标记(TAG)您的polardb集群资源
标记(TAG)您的polardb集群资源
滑动查看更多
-
发表了文章
2020-12-08
EMR按集群费用分摊 -- 传播标签实践
-
发表了文章
2020-11-20
Dataworks坑记——小时级别依赖数据丢失问题
-
发表了文章
2020-11-13
MaxCompute单字段拆分多行多列
-
发表了文章
2020-05-09
对象存储（OSS）按桶（bucket）成本分摊
-
发表了文章
2020-04-20
基于标签成本分摊管理
-
发表了文章
2020-04-20
基于标签(TAG)成本分摊管理
-
发表了文章
2020-04-05
快速管理阿里云资源与人权钱关系——资源标记(TAG)策略
-
发表了文章
2020-02-05
TAG和ResourceGroup使用介绍
-
发表了文章
2020-02-05
资源检索的多种方式介绍
-
发表了文章
2020-01-18
通过TAG将ECS实例（弹性扩缩容）自动加入云监控分组
-
发表了文章
2020-01-13
标记 (TAG) 您的堡垒机（bastionhost）资源
-
发表了文章
2020-01-11
标记 (TAG) 您的运维编排(OOS)资源
-
发表了文章
2020-01-11
标记 (TAG) 您的函数计算（FC）资源
-
发表了文章
2020-01-11
标记 (TAG) 您的 HBASE 数据库实例
-
发表了文章
2019-12-29
标记 (TAG) 您的 k8s 集群资源
-
发表了文章
2019-12-29
标记（TAG）您的DDoS高防实例资源
-
发表了文章
2019-12-20
高阶实践：云监控基于tag自动化监控
-
发表了文章
2019-12-20
标记(TAG)您的polardb集群资源
-
发表了文章
2019-12-20
标记(TAG)您的API网关资源
-
发表了文章
2019-12-16
高阶实践：强制TAG——自动化打标签运维
滑动查看更多
-
提交了问题
2021-01-08
现在标签只支持ecs资源吗？其它云产品支持吗？
-
提交了问题
2021-01-08
提供一下阿里云标签API吧？
-
提交了问题
2021-01-08
标签值无法修改，希望增加这个功能？
-
提交了问题
2021-01-08
如何删除标签
-
提交了问题
2021-01-08
一个标签键为什么不可以多个值？
-
提交了问题
2019-11-20
批量运维ECS资源如何操作？
-
回答了问题
2019-11-20
-
提交了问题
2019-11-20
如何对ECS使用标签(TAG)进行更细粒度的鉴权？
-
提交了问题
2019-11-20
阿里云有哪些云产品支持标签（TAG）
-
回答了问题
2019-11-07
如果有tag1，tag2，还有一个实现是tag1并且tag2，这种怎么表示呢？是弄一个新的tag吗？
如何检查您的资源是否具有您指定的标签？
基于标签批量管理资源
支持标签产品及其文档
标签的最佳实践
通过OOS基于标签批量启动ECS实例实践
如何使用标签控制对ECS 资源的访问？
使用标签检索资源
创建资源标签分组设置
ECS全局标签实践
ECS控制台云资源分组管理---全局标签赞0 踩0 评论0
滑动查看更多