使用日志服务SLS进行OSS可观测分析

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 本场景主要介绍如何使用SLS提供的CloudLens for OSS功能针对对象存储OSS进行可观测分析,包括资源用量、访问分析、安全分析、异常检测等角度。

使用日志服务SLS进行OSS可观测分析


1. 云起实验室实验资源方式介绍

云起实验室实验资源方式介绍

云起实验室支持实验资源体验、领取免费试用额度、个人账户资源三种实验资源方式。

  • 实验资源体验
  • 资源归属于客户,仅供本次实验使用
  • 实验结束后,实验资源及实验记录将被释放。
  • 资源创建过程需要3~5分钟(视资源不同开通时间有所差异,ACK等资源开通时间较长)。完成实验资源的创建后,在实验室页面左侧导航栏中,单击云产品资源列表,可查看本次实验资源相关信息(例如子用户名称、子用户密码、AK ID、AK Secret、资源中的项目名称等)。
  • 说明:实验环境一旦开始创建则进入计时阶段,建议学员先基本了解实验具体的步骤、目的,真正开始做实验时再进行创建。

  • 领取免费试用额度
  • 使用个人账号开通试用,平台仅提供手册参考。
  • 所有实验操作将保留至您的账号,请谨慎操作。
  • 在实验页面下方卡片会展示本实验支持的试用规格,可以选择你要试用的云产品资源进行开通。您在实验过程中,可以随时用右下角icon唤起试用卡片。阿里云支持试用的产品列表、权益及具体规则说明请参考开发者试用中心
  • 说明:试用云产品开通在您的个人账号下,并占用您的试用权益。如试用超出免费试用额度,可能会产生一定费用。

  • 个人账户资源
  • 使用您个人的云资源进行操作,资源归属于个人。
  • 所有实验操作将保留至您的账号,请谨慎操作。
  • 平台仅提供手册参考,不会对资源做任何操作。
  • 说明:使用个人账户资源,在创建资源时,可能会产生一定的费用,请您及时关注相关云产品资源的计费概述。

准备开始实验

在实验开始前,请您选择其中一种实验资源,单击确认开启实验

说明:每个实验所支持的实验资源方式都不相同,实验不一定能满足有三种实验资源方式,请根据实验的实际情况,进行选择。


2. 领取免费试用资源

实验前必看!

  • 如果您的阿里云主账号符合开通免费试用的资格,建议您开通免费试用日志服务,日志服务免费试用时长为3个月,每个月100CU额度,超出免费额度的用量,计入按量付费,会产生后付费账单,具体计费详情,请参见计费概述
  • 如果您的阿里云账号只能领取部分免费试用产品,请您领取符合免费试用资格的产品,然后进入实验,不满足免费试用资格的产品将会使用个人账户资源进行创建,并会产生一定的费用,请您及时关注账户扣费。

为了避免资源浪费并造成账号扣费的情况,请严格按照本文提供的参数进行配置。在实验完成之后,请您及时删除或禁用压测任务。

  1. 在实验开始前,请您选择开通免费试用。

  1. 开通日志服务SLS免费试用。

2.1 在实验室页面下方,选择日志服务SLS,单击立即试用

2.2 在日志服务SLS面板上,选中服务协议,单击立即试用

  1. 开通对象存储OSS免费试用。

3.1 在实验室页面下方,选择对象存储OSS,单击立即试用

3.2 在对象存储OSS面板,选中服务协议,然后单击立即试用,如弹出新的页面,您可先忽略。

  1. 领取完免费试用后,返回资源领取界面,单击我已开通,进入实验。

说明:如果您的阿里云账号只能领取部分免费试用产品,请您领取符合免费试用资格的产品,然后进入实验,不满足免费试用资格的产品将会使用个人账户资源进行创建,并会产生一定的费用,请您及时关注账户扣费。


3. 创建资源

  1. 开通日志服务SLS

说明:

  • 如果您选择的免费试用,并且在上一步骤中领取了日志服务SLS免费试用,请您跳过本步骤,直接进行下一小节操作。
  • 如果您选择的免费试用,但是您的阿里云主账号没有资格领取日志服务SLS的免费试用,请您根据如下操作,开通日志服务SLS,进行按量付费,会产生后付费账单,具体计费详情,请参见计费概述
  • 如果您选择的个人资源,请您根据如下操作,开通日志服务SLS,进行按量付费,会产生后付费账单,具体计费详情,请参见计费概述

1.1 登录日志服务控制台

1.2 根据页面提示,开通日志服务。

日志服务的计费说明,请参见计费概述

  1. 创建对象存储OSS

说明:

  • 如果您选择的免费试用,并且在上一步骤中领取了对象存储OSS的免费试用,请您根据如下操作,创建Bucket。
  • 如果您选择的免费试用,但是您的阿里云主账号没有资格领取对象存储OSS的免费试用,请您根据如下操作,创建Bucket,并且会产生一定的费用,详情请参考计费概述
  • 如果您选择的个人资源,请您根据如下操作,创建Bucket,并且会产生一定的费用,详情请参考计费概述

2.1 前往对象存储OSS控制台,在左侧导航栏中,单击Bucket列表。

2.2 在Bucket列表页面,单击创建Bucket。

2.3 在创建Bucket面板,参考如下说明配置Bucket,未提及的配置保持默认选项,然后单击确定。

配置项

示例

说明

Bucket名称

自定义Bucket名称

自定义Bucket名称。

地域

华东1(杭州)

本教程以华东1(杭州)为例


4. 开启CloudLens for OSS并开通访问日志

开始实验之前,您需要先创建相关实验资源。

  1. 进入SLS控制台主页,找到日志应用>云产品Lens>CloudLens for OSS

  1. 首次使用时将会需要您先开启授权。

  1. 等待1分钟左右,您之前创建的Bucket将会出现在Bucketl列表页,在右侧访问明细日志列中,单击开启

  1. 确认开启访问明细日志对话框中,单击确认开启


5. 构造访问行为

  1. 进入OSS控制台,选择Bucket并上传文件

  1. 单击扫描文件将任意一个本地文件进行上传。

  1. 扫描文件后,文件栏显示已扫描待上传后,单击上传文件

  1. 出现如图所示即为上传成功。


6. OSS访问行为分析

  1. 进入SLS控制台,在CloudLens for OSS入口,选择查询分析>访问明细日志,选择地域,查看访问明细日志。

  1. 资源用量分析。

选择报表中心>资源用量,了解存储量、带宽等核心资源的使用情况。

查看存储量趋势/存储量分布/Bucket 存储量 Top20。

存储量占用/存储量计量依赖中心化的计量日志,可以方便您全局分析Bucket的存储、计量使用情况,CloudLens for OSS 默认开通计量日志。

选择报表中心>资源用量,查看外网流出流量/外网流出带宽/外网流入流量/外网流入带宽/流量分布/Bucket 流量 Top20/读请求和写请求趋势、分布。

流量/带宽/请求等依赖中心化的时序监控数据,可以方便您全局分析Bucket的内外网出入流量、带宽及读写请求等趋势分析。

  1. 访问分析。

选择报表中心>访问分析,了解使用行为情况,辅助产品使用和业务运营分析。

查看 Top 分析(热点来源地区、IP、refer)/分层请求分析(按文件大小)/状态码趋势/外网访问流量分布/外网访问请求量分布/访问来源按地区运营商 Top20/访问 PV、UV 趋势。

  1. 安全分析。

选择报表中心>安全分析,暴露不合理的配置和高危操作,给出优化建议。

查看 Bucket 配置健康分析、删除 object 趋势、删除 object 的 top IP 统计、Bucket 删除文件统计、高危操作数据分析等;删除、private/public read/public read&write 权限、多版本、实时日志、加密、防盗链开启情况检测。

Bucket 配置健康分析依赖计量日志,主要针对Bucket的配置分险点提供优化建议,尽量避免可能的隐患。


7. 清理及后续

1、CloudLens for OSS关闭开启的访问日志。

2、删除创建的butket。

实验链接:https://developer.aliyun.com/adc/scenario/01a5754adc604f4e8ba557f128c2aee8


相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
相关文章
|
12天前
|
存储 SQL 监控
|
12天前
|
运维 监控 安全
|
15天前
|
监控 关系型数据库 MySQL
分析慢查询日志
【10月更文挑战第29天】分析慢查询日志
35 3
|
15天前
|
监控 关系型数据库 数据库
怎样分析慢查询日志?
【10月更文挑战第29天】怎样分析慢查询日志?
32 2
|
1月前
|
存储 缓存 关系型数据库
MySQL事务日志-Redo Log工作原理分析
事务的隔离性和原子性分别通过锁和事务日志实现,而持久性则依赖于事务日志中的`Redo Log`。在MySQL中,`Redo Log`确保已提交事务的数据能持久保存,即使系统崩溃也能通过重做日志恢复数据。其工作原理是记录数据在内存中的更改,待事务提交时写入磁盘。此外,`Redo Log`采用简单的物理日志格式和高效的顺序IO,确保快速提交。通过不同的落盘策略,可在性能和安全性之间做出权衡。
1630 14
|
1月前
|
存储 消息中间件 大数据
大数据-69 Kafka 高级特性 物理存储 实机查看分析 日志存储一篇详解
大数据-69 Kafka 高级特性 物理存储 实机查看分析 日志存储一篇详解
35 4
|
1月前
|
SQL 分布式计算 Hadoop
Hadoop-19 Flume Agent批量采集数据到HDFS集群 监听Hive的日志 操作则把记录写入到HDFS 方便后续分析
Hadoop-19 Flume Agent批量采集数据到HDFS集群 监听Hive的日志 操作则把记录写入到HDFS 方便后续分析
45 2
|
2月前
|
缓存 监控 算法
分析慢日志文件来优化 PHP 脚本的性能
分析慢日志文件来优化 PHP 脚本的性能
|
2月前
|
存储 监控 数据可视化
SLS 虽然不是直接使用 OSS 作为底层存储,但它凭借自身独特的存储架构和功能,为用户提供了一种专业、高效的日志服务解决方案。
【9月更文挑战第2天】SLS 虽然不是直接使用 OSS 作为底层存储,但它凭借自身独特的存储架构和功能,为用户提供了一种专业、高效的日志服务解决方案。
150 9
08-06-06>pe_xscan 精简log分析代码 速度提升一倍
08-06-06>pe_xscan 精简log分析代码 速度提升一倍

相关产品

  • 日志服务