洞悉海量Bucket资产--带你玩转CloudLens之OSS

本文涉及的产品
对象存储 OSS,20GB 3个月
日志服务 SLS,月写入数据量 50GB 1个月
对象存储 OSS,恶意文件检测 1000次 1年
简介: 日志服务联合阿里云OSS推出CloudLens for OSS,支持Bucket粒度的统一管理视图,支持资源用量、访问分析、异常检测、安全分析等可视化分析能力,提供场景化运维管理,实现Bucket资产的可观测性。

CloudLens是什么?

CloudLens基于日志服务构建统一的云产品可观测能力,通过日志、指标、配置计量等数据的关联分析,提供阿里云产品的用量分析、性能监控、安全分析、数据保护、异常检测、访问分析等服务。从成本、性能、安全、数据保护、稳定性、访问分析六个维度,助力您快速构建云产品的可观测性,更好地使用云产品。详情可参考CloudLens概述

CloudLens for OSS是什么?

日志服务联合阿里云OSS推出CloudLens for OSS,支持Bucket粒度的统一管理视图,支持资源用量、访问分析、异常检测、安全分析等可视化分析能力,提供场景化运维管理,实现Bucket资产的可观测性。详情可参考帮助文档

应用入口在哪里?

SLS控制台入口

进入SLS控制台主页,找到日志应用-云产品Lens-CloudLens for OSS

OSS控制台入口

进入OSS控制台主页,找到资源用量-CloudLens for OSS

开启使用

当您之前未通过控制台或OpenAPI开通使用过CloudLens for OSS,首次使用时将会需要您先开启授权(如未开启过日志服务,则需要先开启日志服务)

由于CloudLens会默认帮用户开启中心化存储的计量日志和时序监控数据,因此首次使用时会需要您选择一个中心化地域,该地域一旦选择,不允许修改,如果是公有云地域,建议优先选择北京、上海、杭州、深圳等公有云相对较大的地域或Bucket比较集中的地域。

首次开通后,后台会对Bucket资产进行同步,全部同步完需要等待数分钟不等的时间,具体取决于用户Bucket的数量,一般不超过半小时。

如何接入日志数据?

当前提供访问明细日志(原实时日志)、计量日志、时序监控数据三种日志,其中访问明细日志需要用户按需手动开启,其他两种日志将会由后台异步自动开启,会有一定的延迟。日志说明如下:

  • 访问明细日志:记录相关OSS Bucket的所有访问日志及批量删除日志时具体的删除信息,实时采集,同时也包含计量日志。
  • 计量日志:记录特定OSS Bucket每小时累计的计量数据。延迟时间为几小时,用于辅助分析,默认免费开通。
  • 时序监控数据:记录10秒粒度的请求、延迟、流量等指标及5分钟粒度的请求、流量等指标。默认免费开通。

访问明细日志接入

如您需要查看详细的访问操作日志,需要开通对应Bucket的访问明细日志,可通过接入管理页面开启,有默认7天(每天900G)的免费额度,基本上都可以免费使用,可以放心开通。您也可以随时关闭Bucket的访问日志采集,关闭后对应Bucket新的访问明细日志将不会再写入日志库,但不影响继续查询历史数据。

存储目标库管理

访问明细日志默认存储7天,计量日志、时序监控数据默认存储60天,如需调整存储时间,可通过目标存储库进行修改,超过免费存储时间将会产生费用,可根据实际需要评估。超过30天的数据支持开启智能冷热分层,费用更低,查询分析会有10秒延迟,参考智能冷热分层,如果是在免费周期内,您可无需开启。

如何查询分析日志?

CloudLens提供查询分析的菜单入口,支持查询分析访问明细日志和计量日志,其中访问明细日志由于是区域化存储,需要先选择一个地域,可以查询该地域下所有开通了访问明细日志的Bucket数据,如果对应地域下没有开启过任意一个Bucket的访问明细日志,则需要先行开启,否则无法直接查询。

计量日志为中心化存储,可以查询分析所有Bucket的计量数据。

通过接入管理对应Bucket的操作列,您也可以从日志查询下拉列表选择直接跳转到对应日志的查询分析页,将会为您自动带上Bucket的过滤条件,您可继续输入其他语句做更多的查询分析。

如果您不想自己写查询分析语句,您可以切换至交互模式,帮助您动动鼠标即可自动构建需要的语句,详情可参考Data Explorer

访问明细日志交互模式下内置了一些高频分析场景,可一键快速进行分析。

如何快速发现异常事件?

CloudLens内置了一些比较常用的告警规则,帮助您快速发现Bucket使用过程中的一些异常情况,从而能够及时响应,避免不必要的损失,详情参考监控规则

创建告警

通过异常检测下的告警管理可以进入到Bucket视图的告警页面,您可以针对指定的Bucket配置需要的告警规则,告警名称默认为规则名称,一般保持默认即可,您也可以根据需要进行调整,其他默认阈值也都需要根据实际配置一个合理的值。

编辑行动策略

首次创建告警时,由于默认的行动策略为SLS OSS内置行动策略,该内置策略关联的用户组下默认没有用户,需要用户先创建用户加入到该用户组,同时默认的行动组只支持邮件,如果需要增加其他通知渠道也需要修改行动策略,具体操作可参考创建行动策略,当然也可以选择创建新的行动策略。

创建用户

如果用户已创建,则直接将对应用户加入用户组即可,如下:

如果用户未创建,可取消修改用户组的对话框,点击用户组管理,选择用户管理,创建用户,详情参考创建用户

用户创建完成后,继续点击上方用户管理标签页,切换到用户组管理,修改用户组,添加刚刚创建的用户即可。

添加通知渠道

如需添加通知渠道,可参考通知渠道管理

管理已有告警

如果需要修改已创建的告警规则,可通过操作列的告警管理进入

可以编辑修改告警相关阈值参数等,也可以关闭/开启告警,或直接删除告警

如何进行数据可观测?

CloudLens内置一些核心数据的可视化报表,方便用户对历史、实时数据进行快速分析

  • 资源用量:提供OSS存储、流量等基本维度的用量概览,方便全局把握OSS使用情况
  • 访问分析:从使用视角分析OSS各bucket的流量分布、访问TOP分布等
  • 安全分析:暴露OSS Bucket配置的风险点和高危Object操作

各报表均支持选择地域、存储类型、Bucket作为过滤器进行过滤分析。

资源用量

其中资源用量-存储量占用/存储量计量依赖中心化的计量日志,可以方便您全局分析Bucket的存储、计量使用情况。

资源用量-流量/带宽/请求等依赖中心化的时序监控数据,可以方便您全局分析Bucket的内外网出入流量、带宽及读写请求等趋势分析。

访问分析

访问分析-Top分析依赖中心化的时序监控数据,主要是对文件请求、状态码趋势、Bucket Top流量、Top请求进行统计

访问分析-访问分布依赖开通Bucket的访问明细日志,为区域化存储,因此需要先选择一个地域来进行查看,只涵盖开通了访问明细日志的Bucket,展示总体运营状况信息,包括PV、UV、流量以及外网访问地图分布等。

安全分析

安全分析-Bucket配置健康分析依赖计量日志,主要针对Bucket的配置分险点提供优化建议,尽量避免可能的隐患。

安全分析-Object操作风险分析依赖开通Bucket的访问明细日志,需要先选择一个地域来进行查看,只涵盖开通了访问明细日志的Bucket,展示文件删除等高危操作的执行情况。


更多SLS的系列直播与培训视频会同步到微信公众号、知乎与B站,敬请留意

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
目录
相关文章
|
6月前
|
存储 搜索推荐 对象存储
OSS绑定自定义域名至Bucket默认域名
OSS绑定自定义域名至Bucket默认域名
161 1
|
3月前
|
弹性计算 JavaScript Ubuntu
ECS 挂载 OSS 多Bucket
ECS 挂载 OSS 多Bucket
83 0
|
5月前
|
存储 域名解析 前端开发
云上攻防-云服务篇&对象存储&Bucket桶&任意上传&域名接管&AccessKey泄漏
云上攻防-云服务篇&对象存储&Bucket桶&任意上传&域名接管&AccessKey泄漏
188 8
|
6月前
|
安全 Go 开发工具
对象存储OSS产品常见问题之go语言SDK client 和 bucket 并发安全如何解决
对象存储OSS是基于互联网的数据存储服务模式,让用户可以安全、可靠地存储大量非结构化数据,如图片、音频、视频、文档等任意类型文件,并通过简单的基于HTTP/HTTPS协议的RESTful API接口进行访问和管理。本帖梳理了用户在实际使用中可能遇到的各种常见问题,涵盖了基础操作、性能优化、安全设置、费用管理、数据备份与恢复、跨区域同步、API接口调用等多个方面。
143 9
|
6月前
|
存储 弹性计算 安全
oss配置Bucket属性
oss配置Bucket属性
597 1
|
6月前
|
存储 域名解析 安全
对象存储OSS产品常见问题之控制台概览显示的流量信息和bucket的不一致如何解决
对象存储OSS是基于互联网的数据存储服务模式,让用户可以安全、可靠地存储大量非结构化数据,如图片、音频、视频、文档等任意类型文件,并通过简单的基于HTTP/HTTPS协议的RESTful API接口进行访问和管理。本帖梳理了用户在实际使用中可能遇到的各种常见问题,涵盖了基础操作、性能优化、安全设置、费用管理、数据备份与恢复、跨区域同步、API接口调用等多个方面。
176 0
|
6月前
|
存储 弹性计算 小程序
对象存储OSS产品常见问题之Bucket授权策略中授权用户的id如何解决
对象存储OSS是基于互联网的数据存储服务模式,让用户可以安全、可靠地存储大量非结构化数据,如图片、音频、视频、文档等任意类型文件,并通过简单的基于HTTP/HTTPS协议的RESTful API接口进行访问和管理。本帖梳理了用户在实际使用中可能遇到的各种常见问题,涵盖了基础操作、性能优化、安全设置、费用管理、数据备份与恢复、跨区域同步、API接口调用等多个方面。
|
6月前
|
存储 API 开发工具
oss创建bucket
oss创建bucket
820 1
|
6月前
|
存储 弹性计算 文件存储
对象存储OSS产品常见问题之OSS Bucket 创建好后更改存储类型如何解决
对象存储OSS是基于互联网的数据存储服务模式,让用户可以安全、可靠地存储大量非结构化数据,如图片、音频、视频、文档等任意类型文件,并通过简单的基于HTTP/HTTPS协议的RESTful API接口进行访问和管理。本帖梳理了用户在实际使用中可能遇到的各种常见问题,涵盖了基础操作、性能优化、安全设置、费用管理、数据备份与恢复、跨区域同步、API接口调用等多个方面。
160 0
|
6月前
|
存储 对象存储 Python
使用Python脚本快速批量删除OSS Bucket
要用Python删除OSS Bucket,似乎直接调用delete_bucket()方法就可以了。然而,在实际删除时,常常会遇到各种报错。这是因为OSS为了防止误操作,要求在删除Bucket之前必须清空其中的所有数据,包括对象(Objects)、多版本对象(Multi-version Objects)、碎片(Parts)、LiveChannels。针对需要快速批量删除OSS Bucket的场景,本文提供了一个Python脚本,用于先批量清除Bucket中的上述资源,然后再删除Bucket。
332 0