背景
OSS作为阿里云的对象存储产品,具有非常广泛的应用场景,可以在OSS存储网站,App上的图片,视频,文件等。具有安全,低成本,高可靠等特点。在使用OSS的过程中,开发运维人员往往需要关注OSS的一些访问情况,比如一些流量数据,性能数据等。在一些指标,比如流量等出现异常时,也希望能够收到一些告警通知,便于及时查看相关的异常。
SLS告警作为一站式运维告警平台,也为OSS的访问提供了定制化的告警规则,用户只需要一键开启,即可完成对OSS访问指标的监控,并可以在指标出现异常时及时收到告警。本文主要介绍如何使用在OSS访问日志上开启SLS告警及配置方法。
本文主要包括如下部分:
- 开启OSS访问日志
- 查看OSS专属仪表盘
- 开启OSS定制化告警
开启OSS访问日志
OSS访问日志主要记录了OSS的访问数据,批量删除数据和每小时计量数据。访问日志主要记录对OSS Bucket和Object的操作记录,例如增删Bucket,列举/上传/复制文件等,同时也会记录客户端的访问IP,请求的方法,大小,响应时间,大小等信息,通过这些信息可以对OSS的访问进行流量,统计,性能等分析。下面介绍下开通OSS访问日志的步骤。
在OSS控制台首页,点击某个Bucket进去,找到左边的日志管理,点击实时查询,如果之前还没有开通实时查询,这里会显示立即开通。
对家存馆
实时查询
Bucket列表
1/李东2(上淘)
日志转存
实时查询
楼货
实时日志查询
用量查询
立即开走
文件查理
风收营理
起配设置
>
几余与容错
>
传编管理
>
日志置理
数属处理
我糕安全
开通后,OSS会在SLS侧创建一个该区域的OSS Bucket专属的Project和Logstore。Project与Logstore名称格式为:
Project: oss-log-阿里云账号ID-地域ID
Logstore: oss-log-store
已经开通过OSS访问日志的界面如下:
在原始日志的查询页面,可以使用SLS查询分析语法对日志进行分析,同时也可以在SLS控制台找到oss-log-阿里云账号ID-地域ID的Project,然后进行查询分析查看仪表盘,创建告警等。
查看仪表盘
除了OSS访问日志外,SLS在访问日志的基础上提供了四个专属仪表盘,仪表盘主要包括一些流量展示,流量分布,性能数据和运维数据,仪表盘可以让用户对OSS的访问有一个全面的认识,并且可以发现其中的一些异常。仪表盘详情如下:
仪表盘 | 说明 |
访问中心 | 展示总体运营状况信息,包括PV、UV、流量以及外网访问地图分布等。 |
审计中心 | 展示文件操作的统计信息,包括读、写、删除文件等操作。 |
运维中心 | 展示OSS的运维信息,包括请求数量、操作失败的分布统计等。 |
性能中心 | 展示OSS性能的统计信息,包括外网下载/上传性能分布、不同网络与文件大小的传输性能、文件下载差异列表等。 |
在OSS控制台访问日志的日志报表标签页可以看到这四个仪表盘,在SLS控制台相应的Project下也可以查看四个仪表盘列表。
运维中心仪表盘
吐运维中心
相领
:订同
0告
全屏
9盛宣期垢
用户请末布蚊丰1小甜(海期)
1.682K
20
99.95
509.17.
5.145Mil
99.99%
100.64%
110.37%
今日阿比炸日
今日天站讯
育有镇置
有日:网设件
今户网配虾
Buckot访与外布1大(他川)
Bucket有请外布(G日)1天()
00952006
10706
07A0L"..
060v200g..
0.00%
oa.0oox
62.71%
用户请鼎有效丰就供语期)
用户清求PV与有效性枕势村料
9a
HNMND
99.8
25k)
99A
99>
20K
微户请源叙
1bk
98
5Ok)
GA
地s.g1s.i..
心地
防同美康枕泰性势州科商2
用户请未桂果分有时(购)
35K
访问中心仪表盘
内界外再人南出意童技梦小时(相力
津量路若快(相对)
25斤
2.5
DINN清
双
2k
1.5K
1.5K
IMBI
1)
IMEI
L3
?内玖人荣
[酥E)
内物叶餐M品
50c
址8址
50712919:55
Q7129159502291615
Sie9155Qe1
有效CET/P05T方法访拉势时桐烤
35k
itpni
30k
30k
25K
1ac
20K
PIEI方油)
80
PYPUT
15K
40
姓k
4G
ww.批
性能中心仪表盘
性岚中心
0售篮
日置时间
:订门
3分亨
编辑
全国
性旋热势4小时(图网
各同塔性店写+小科1133)
Buckot开表1天173川)
12
址UM州川刘美N
10
内下
外播上
止车
精南程
咖er.mee.apm..0日..Dea.0mm.
..0am.@aapa.
咖en-@pa.0am..
apm.tr..@p..@za..@a..@o..om.@omo
l.aae.@tpa-
aea:
@ra:
07a.
外网上传性解分布小时(相财)
外阳下性性能分高小付时(组购)
审计中心仪表盘
C现所
日重直时间
牙亭
全导
市计中心
小合罚
识博
文性体款送储)
美立文作担个食送图对
文蚌绿炸欢微天(
Q
5.134Mil
5.866K
240.56K
240.935K
0
1.006%
1.036%
1.039%
1.037%
100%
今日问比开日
今口:同物市口
今日/手上除目
今三用轮日
今日关2日
0
29K
5k
Q7241340
8.82%
总霜
12K
914K
通过以上四个仪表盘,我们可以对OSS的访问情况有一个整体的了解,比如访问分布,访问性能,访问热点等,同时我们也可以基于仪表盘创建告警,在某些指标出现异常时我们可以及时收到通知,便于我们通知告警。创建告警的方式可以参考之前的一篇文章。
配置告警
除了自定义告警对OSS的访问日志进行监控之外,SLS还提供了一批开箱即用的告警规则,只需要鼠标点几下,即可对OSS访问日志进行告警配置。SLS内置的OSS告警规则目前包含23个,还在不断地增加中。规则主要包括操作合规类,数据安全类和流量安全类,基本覆盖了在OSS访问中可能出现的异常告警,这些内置规则由SLS维护更新,其中一些规则用到了SLS的机器学习算法,使告警更加智能可靠。
内置规则列表(不断扩充中)
OSS操作合规(4)
- OSS Bucket加密关闭告警
- OSS Bucket访问日志记录关闭告警
- OSS新创建的Bucket访问日志记录未开启告警
- OSS新创建的Bucket加密未开启告警
OSS数据安全(6)
- OSS账号访问控制
- OSS文件权限变更告警
- OSS错误操作检测
- OSS Bucket删除告警
- OSS频繁删除对象告警
- OSS跨区域复制开关检测
OSS流量安全(13)
- OSS外网访问检测
- OSS匿名访问检测
- OSS高频访问IP检测
- OSS请求平均响应延迟过高告警
- OSS Bucket有效请求率过低告警
- OSS访问PV同比昨日变化率过高告警
- OSS访问UV同比昨日变化率过高告警
- OSS访问流量同比昨日变化率过高告警
- OSS流量异常检测
- OSS流入流量异常检测
- OSS流出流量异常检测
- OSS访问PV异常检测
- OSS访问UV异常检测
使用方法
在SLS控制台找到oss-log-阿里云账号ID-地域ID的Project,点击左侧的告警图标,右边会展示告警规则列表。SLS会自动加载OSS访问日志内置的告警规则列表。
盘标570
告启中心
营台青浴业寨售世动非三号发气一181556高灯日装
?
逸.
C
菜
暂停中1日河万中1间
点
2
输入横天红dw啡Q
#4语
田
古世空生商开
来也啡
51110551055
冰店时
4C1开启
*红
*L
外E型量1055/O55HUF片
净国情
肃请津
对;:10551055家根安主机
c卫开品
肃旗消
5SHT9495587110
2:1开品
禾旗津
专意江业创设开专达供售警
承候林
黑香林
在告警规则列表页可以看到每个分类下告警规则,我们可以对其进行开启设置添加操作。光标置于每个规则后的问号会显示规则的详细信息。
在规则的左边有+号,表示该规则支持多实例配置,一般情况下是该规则允许配置不同的告警触发阈值,不同的Bucket名称或者异常点个数;可以更加灵活的控制告警。
多实例规则
以OSS流量异常检测规则为例,点击右侧的“添加”按钮,我们可以在参数设置页面配置不同的参数。在参数页面我们可以设置该告警实例的严重度,异常点个数阈值,阿里云账号和Bucket名称的正则过滤,还有行动策略(在这里配置发送渠道)
单实例规则
以OSS匿名访问检测告警为例,这里只需要开启告警即可,会创建一个该规则下是告警实例,这是由告警本身的性质决定,没有使用阿里云账号/子账号或者AccessKey对OSS的访问是不需要创建多份实例的。比如有匿名访问时,同时创建一个严重度高和严重度中的告警实例没有必要。
0Ss匿名访问检测
开启设置
S流量安全展开
未创建
C
添加开启
规则详情
ID:sls_app_audittlow_atoss_anony_visit
添加开启
C
名称:oSs匿名访问检测
播述:0SSBuCke被展名说间时@0ss的访问没有使用网里云账号账号者Acceskey,触发告害.
添加开启
C
类别:云平台,阿里云,对象存储(oss),OSS流量安全
版本:1
添加开启
OSS访问PV同比昨日变化率过高告警
这里以OSS访问PV同比昨日变化率过高告警为例,开启一个告警并且配置通知。
首先,点击右侧的添加按钮。
配置参数:
- 选择严重度:包括严重,高,中,低,报告
- 增长率阈值和下降率阈值:表示当前10分钟的pv相对于昨天相同时段的增长率或者下降率的阈值,注意,下降率这里填写正数。
- Bucket名称:允许使用正则对访问日志中的不同Bucket进行监控
- 行动策略:可以选择默认的SLS OSS内置行动策略。
配置行动策略
点击上方的行动策略选择,查看配置详情,弹出页面,默认行动组为空,需要添加行动组。
编辑行动策略
ID:
sls.app.oss.bulltin
19/60
名称:
sLso内置行动策略
13/40
第一行动列表
第二行动列表
Q
回
开始
结束
这里我们添加一个钉钉的通知渠道,如果需要更多的行动策略配置,可以参考【链接】。
开启告警
点击设置并开启,可以看到一个告警实例已经开启成功。
接收告警
这里是默认的告警模板,如果需要定制化的内容模板,也可以进行设置,参考【链接】。
SLS告警
阿里云账号:
16
告警规则名称:OSS访问PV同比昨日变化率过高告
警
告警严重度:高级
告警标题:OSS访问PV同比昨日变化率过高告警
告警内容:账号16!
0下的Bucket
product过去10分钟的访问PV同比前一
report-ir
天变化率过大,变化率:-10.34%
告警首次触发时间:2021-07-2921:50:51
此次评估的触发时间:2021-07-2921:50:51
触发告警的实例D:c1f74d901e98d157-
5c8436415c6d3-50544be
告警规则所在Project:
osS-log-
150-cn-hangzhou
16
告警状态:触发
[详情][设置]
总结
通过开启OSS访问日志,可以直接拥有SLS的专属Project和专属Logstore,借助SLS强大的实时查询分析能力,可以进行一些问题的排查和统计;同时还有四个定制仪表盘供用户对OSS进行监控分析和运行情况进行总览;在告警方面,SLS内置了一批非常实用的告警规则,无需过多配置,可以一键开启告警,在后面SLS还将提供更多告警规则,以满足更多的场景需求,敬请关注。
SLS告警作为一站式云原生智能告警运维平台,提供对日志、时序等各类数据的告警监控,亦可接受三方告警,对告警进行降噪、事件管理、通知管理等,充分考虑研发、运维、安全以及运营人员的告警监控运维需求。
本文也通过一个实例演示了如何使用SLS内置告警规则来对OSS进行告警配置,实现了对OSS流量的监控告警。
参考
进一步参考
- SLS(日志服务)云原生观测分析平台:https://www.aliyun.com/product/sls
- SLS新版告警文档首页:https://help.aliyun.com/document_detail/207609.html
- 欢迎扫群加入阿里云-日志服务(SLS)技术交流(集团同学请直接搜索群号11702236加入), 获得第一手资料与支持
- 后续系列直播与培训视频会同步到B站,敬请留意