如何灵活使用OSS监控数据动态调整OSS服务参数

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 本文的目的是为了提供一种使用OSS监控服务的数据灵活控制OSS服务形态的例子,以方便大家能够举一反三,实现更多的通用方法解决多样的需求。

如题,本文的目的是为了提供一种使用OSS监控服务的数据灵活控制OSS服务形态的例子,以方便大家能够举一反三,实现更多的通用方法解决多样的需求。


        其实OSS监控服务已经提供了报警功能,能够方便用户对OSS已经提供的metric指标进行监控报警,及时发现问题并进行处理。但是这种报警也只是做到了通知用户,通过邮件、旺旺、短信的方式,然而接下来如何行动,还是要靠用户自己了。另外,监控项的监控,仅仅是当前的监控情况,还没有对一段时间内的数据累计(或者求峰谷值、平均值等等)情况进行监控的功能。


        虽然如此,别忘了OSS监控服务提供了数据访问的Open API,还有多种语言的SDK,方便你处理你的数据。如果能够用好这些监控数据,联结各种产品的提供的接口,可以解决很多特制的需求。


        这里我举个使用的场景吧。之前在论坛上看到过用户吐槽OSS没有流量监控功能,后来监控服务上线之后,又有位童鞋给我留言说还是不能满足他的需求,因为他希望OSS在流量使用的“累计总值”超过他设置的阈值之后,能够自动限制对他的Bucket资源的请求情况。

下面呢,我就结合OSS监控服务的SDK和OSS的SDK,给大家演示一下,满足一下这位童鞋的需求哈。


需求分析:

在bucket的权限为public read的情况下,用户的bucket可以接受任何合法的读请求访问,获取数据,从而产品流出流量。而公网流出流量我们是会收取流量资费的。
如果用户希望控制每日的费用支出,那么可以在每天流量消耗到一定的程度,就收回bucket的public read权限,改为private。那么在流量超限之后,所有的请求将会受到“AccessDeny”错误码。
这样,你的目的就到达了,是吧。

代码示例:

这里简单写个代码示例演示一下,如何满足以上需求功能:
代码功能:
        从进程启动开始监控流量使用总量,每10分钟获取一次流量监控数据(每分钟一个值),如果总量超过设置的阈值,那么设置bucket的acl为private,退出进程。

#!/bin/env python
#-*- coding:utf-8 -*-

from aliyunsdkcore import client
from aliyunsdkcms.request.v20151020 import QueryMetricRequest

import oss2
import time
import json

# 请填好您的配置
access_id = 'your access id'
access_key = 'your access key'
bucket_name = 'your bucket'
endpoint = 'your endpoint'

# util func
def date_2_sec(s, format = '%Y-%m-%d %H:%M:%S'):
    tp = time.strptime(s, format)
    return int(time.mktime(tp))

def sec_2_date(sec, format = '%Y-%m-%d %H:%M:%S'):
    tp = time.localtime(sec)
    return time.strftime(format, tp)


def get_throughput_metric_from_cms(start_time, end_time):
    '''
    从OSS监控服务中获取公网流出流量在一点时间范围内的指标
    :param start_time: 监控数据的起始时间,格式"2016-07-23 22:59:00"
    :param end_time: 监控数据的结束时间,格式"2016-07-23 23:09:00"
    :return
    '''
    project = 'acs_oss'
    metric = 'InternetSend'
    dimensions = '{"BucketName":"%s"}' % bucket_name
    clt = client.AcsClient(access_id, access_key,'cn-hangzhou')
    request = QueryMetricRequest.QueryMetricRequest()
    request.set_accept_format('json')
    request.set_Project(project)
    request.set_Metric(metric)
    request.set_StartTime(start_time)
    request.set_EndTime(end_time)
    request.set_Dimensions(dimensions)
    request.set_Period('60')
    result = clt.do_action(request)
    result = json.loads(result)
    data_list = []
    for data in result['Datapoints']['Datapoint']:
        data_list.append(data[metric])
    print '[%s - %s]: %s' % (start_time, end_time, data_list)
    return data_list

def set_bucket_acl():
    auth = oss2.Auth(access_id, access_key)
    bucket = oss2.Bucket(auth, endpoint, bucket_name)
    bucket.put_bucket_acl(oss2.BUCKET_ACL_PRIVATE)
    print 'set bucket %s to %s' % (bucket_name, oss2.BUCKET_ACL_PRIVATE)

def limit_throughput_task(period, threshold):
    total_throughput = 0
    start_time = sec_2_date(int(time.time()))
    while True:
        time.sleep(period)
        end_time = sec_2_date(int(time.time()))
        data_list =  get_throughput_metric_from_cms(start_time, end_time)
        total_throughput += sum(data_list)
        print 'now total_throughput is %d' % total_throughput
        if total_throughput >= threshold:
            set_bucket_acl()
            break

        start_time = end_time

if __name__ == '__main__':
    # 每10分钟获取一次metric, 阈值设置为4000Byte
    limit_throughput_task(600, 4000)
    print 'task finished'

      监控指标除了公网流出流量之外,当然还有容量、可用性、请求个数等等;操作方式除了控制OSS bucket权限之外,还可以触发删除指定object、订阅MNS、导出监控数据到实时分析/离线分析系统等等。
各种组合形式,各种需求功能,就看你自己怎么用啦。

云监控SDK安装和使用参见[云监控SDK]。
OSS SDK安装和使用参见[OSS SDK]。

插播广告哈:

        存储服务是阿里云最核心的服务,我们不但支持文件 / 对象 / 表格 / 日志等多种形式的存储,也正在研发下一代事件驱动的 serverless 计算服务 在这里,你的代码可能运行在几十万台服务器上,不但处理整个阿里巴巴集团最核心的数据,也会成为整个阿里云平台上万千企业云上数据的坚实基础,甚至开启下一代计算的新篇章。
        所以,我们诚聘您的加入,简历投至shuting.yst@alibaba-inc.com,在校优秀人才、社会牛人看过来哦~~    
相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
相关文章
|
3月前
|
机器学习/深度学习 人工智能 专有云
人工智能平台PAI使用问题之怎么将DLC的数据写入到另一个阿里云主账号的OSS中
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
3天前
|
存储 Java 开发工具
【三方服务集成】最新版 | 阿里云OSS对象存储服务使用教程(包含OSS工具类优化、自定义阿里云OSS服务starter)
阿里云OSS(Object Storage Service)是一种安全、可靠且成本低廉的云存储服务,支持海量数据存储。用户可通过网络轻松存储和访问各类文件,如文本、图片、音频和视频等。使用OSS后,项目中的文件上传业务无需在服务器本地磁盘存储文件,而是直接上传至OSS,由其管理和保障数据安全。此外,介绍了OSS服务的开通流程、Bucket创建、AccessKey配置及环境变量设置,并提供了Java SDK示例代码,帮助用户快速上手。最后,展示了如何通过自定义starter简化工具类集成,实现便捷的文件上传功能。
【三方服务集成】最新版 | 阿里云OSS对象存储服务使用教程(包含OSS工具类优化、自定义阿里云OSS服务starter)
|
10天前
|
Java API 对象存储
微服务魔法启动!Spring Cloud与Netflix OSS联手,零基础也能创造服务奇迹!
这段内容介绍了如何使用Spring Cloud和Netflix OSS构建微服务架构。首先,基于Spring Boot创建项目并添加Spring Cloud依赖项。接着配置Eureka服务器实现服务发现,然后创建REST控制器作为API入口。为提高服务稳定性,利用Hystrix实现断路器模式。最后,在启动类中启用Eureka客户端功能。此外,还可集成其他Netflix OSS组件以增强系统功能。通过这些步骤,开发者可以更高效地构建稳定且可扩展的微服务系统。
28 1
|
2月前
|
存储 机器学习/深度学习 弹性计算
阿里云EMR数据湖文件系统问题之OSS-HDFS全托管服务的问题如何解决
阿里云EMR数据湖文件系统问题之OSS-HDFS全托管服务的问题如何解决
|
2月前
|
存储 安全 大数据
对象存储的意义:探索数据新纪元的关键基石
在信息爆炸时代,数据成为核心资产,而高效安全的数据存储至关重要。对象存储作为一种新兴技术,起源于20世纪90年代,旨在解决传统文件系统的局限性。随着云计算和大数据技术的发展,它已成为关键技术之一。对象存储具备高可扩展性、高可靠性、低成本、易于管理和多协议支持等优点。它支撑大数据发展、推动云计算繁荣、助力企业数字化转型并保障数据安全。未来,对象存储将进一步提升性能,实现智能化管理,并与边缘计算融合,获得政策支持,成为数据新时代的关键基石。
94 3
|
3月前
|
分布式计算 DataWorks 调度
DataWorks产品使用合集之多个业务流程上传同名资源到同一个OSS(对象存储服务)URL,会产生什么问题
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
3月前
|
DataWorks 安全 定位技术
DataWorks产品使用合集之如何同步OSS中的Parquet数据,并解析里面的数组成多个字段
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
3月前
|
运维 Serverless 数据处理
函数计算产品使用问题之在对象存储服务(OSS)上创建ZIP包解压触发器后,触发器未按预期执行,一般是什么导致的
函数计算产品作为一种事件驱动的全托管计算服务,让用户能够专注于业务逻辑的编写,而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景,从简单的数据处理到复杂的业务逻辑,实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点,帮助你更好地理解和应用这一服务。
|
4月前
|
数据采集 DataWorks 安全
DataWorks产品使用合集之将按日分区的表同步数据到OSS数据源,该如何配置
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
145 1
|
3月前
|
消息中间件 分布式计算 DataWorks
DataWorks产品使用合集之如何使用Python和阿里云SDK读取OSS中的文件
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。

相关产品

  • 对象存储
  • 下一篇
    无影云桌面