使用日志服务SLS进行OSS可观测分析

简介: 本场景主要介绍如何使用SLS提供的CloudLens for OSS功能针对对象存储OSS进行可观测分析,包括资源用量、访问分析、安全分析、异常检测等角度。

使用日志服务SLS进行OSS可观测分析


1. 云起实验室实验资源方式介绍

云起实验室实验资源方式介绍

云起实验室支持实验资源体验、领取免费试用额度、个人账户资源三种实验资源方式。

  • 实验资源体验
  • 资源归属于客户,仅供本次实验使用
  • 实验结束后,实验资源及实验记录将被释放。
  • 资源创建过程需要3~5分钟(视资源不同开通时间有所差异,ACK等资源开通时间较长)。完成实验资源的创建后,在实验室页面左侧导航栏中,单击云产品资源列表,可查看本次实验资源相关信息(例如子用户名称、子用户密码、AK ID、AK Secret、资源中的项目名称等)。
  • 说明:实验环境一旦开始创建则进入计时阶段,建议学员先基本了解实验具体的步骤、目的,真正开始做实验时再进行创建。

  • 领取免费试用额度
  • 使用个人账号开通试用,平台仅提供手册参考。
  • 所有实验操作将保留至您的账号,请谨慎操作。
  • 在实验页面下方卡片会展示本实验支持的试用规格,可以选择你要试用的云产品资源进行开通。您在实验过程中,可以随时用右下角icon唤起试用卡片。阿里云支持试用的产品列表、权益及具体规则说明请参考开发者试用中心
  • 说明:试用云产品开通在您的个人账号下,并占用您的试用权益。如试用超出免费试用额度,可能会产生一定费用。

  • 个人账户资源
  • 使用您个人的云资源进行操作,资源归属于个人。
  • 所有实验操作将保留至您的账号,请谨慎操作。
  • 平台仅提供手册参考,不会对资源做任何操作。
  • 说明:使用个人账户资源,在创建资源时,可能会产生一定的费用,请您及时关注相关云产品资源的计费概述。

准备开始实验

在实验开始前,请您选择其中一种实验资源,单击确认开启实验

说明:每个实验所支持的实验资源方式都不相同,实验不一定能满足有三种实验资源方式,请根据实验的实际情况,进行选择。


2. 领取免费试用资源

实验前必看!

  • 如果您的阿里云主账号符合开通免费试用的资格,建议您开通免费试用日志服务,日志服务免费试用时长为3个月,每个月100CU额度,超出免费额度的用量,计入按量付费,会产生后付费账单,具体计费详情,请参见计费概述
  • 如果您的阿里云账号只能领取部分免费试用产品,请您领取符合免费试用资格的产品,然后进入实验,不满足免费试用资格的产品将会使用个人账户资源进行创建,并会产生一定的费用,请您及时关注账户扣费。

为了避免资源浪费并造成账号扣费的情况,请严格按照本文提供的参数进行配置。在实验完成之后,请您及时删除或禁用压测任务。

  1. 在实验开始前,请您选择开通免费试用。

  1. 开通日志服务SLS免费试用。

2.1 在实验室页面下方,选择日志服务SLS,单击立即试用

2.2 在日志服务SLS面板上,选中服务协议,单击立即试用

  1. 开通对象存储OSS免费试用。

3.1 在实验室页面下方,选择对象存储OSS,单击立即试用

3.2 在对象存储OSS面板,选中服务协议,然后单击立即试用,如弹出新的页面,您可先忽略。

  1. 领取完免费试用后,返回资源领取界面,单击我已开通,进入实验。

说明:如果您的阿里云账号只能领取部分免费试用产品,请您领取符合免费试用资格的产品,然后进入实验,不满足免费试用资格的产品将会使用个人账户资源进行创建,并会产生一定的费用,请您及时关注账户扣费。


3. 创建资源

  1. 开通日志服务SLS

说明:

  • 如果您选择的免费试用,并且在上一步骤中领取了日志服务SLS免费试用,请您跳过本步骤,直接进行下一小节操作。
  • 如果您选择的免费试用,但是您的阿里云主账号没有资格领取日志服务SLS的免费试用,请您根据如下操作,开通日志服务SLS,进行按量付费,会产生后付费账单,具体计费详情,请参见计费概述
  • 如果您选择的个人资源,请您根据如下操作,开通日志服务SLS,进行按量付费,会产生后付费账单,具体计费详情,请参见计费概述

1.1 登录日志服务控制台

1.2 根据页面提示,开通日志服务。

日志服务的计费说明,请参见计费概述

  1. 创建对象存储OSS

说明:

  • 如果您选择的免费试用,并且在上一步骤中领取了对象存储OSS的免费试用,请您根据如下操作,创建Bucket。
  • 如果您选择的免费试用,但是您的阿里云主账号没有资格领取对象存储OSS的免费试用,请您根据如下操作,创建Bucket,并且会产生一定的费用,详情请参考计费概述
  • 如果您选择的个人资源,请您根据如下操作,创建Bucket,并且会产生一定的费用,详情请参考计费概述

2.1 前往对象存储OSS控制台,在左侧导航栏中,单击Bucket列表。

2.2 在Bucket列表页面,单击创建Bucket。

2.3 在创建Bucket面板,参考如下说明配置Bucket,未提及的配置保持默认选项,然后单击确定。

配置项

示例

说明

Bucket名称

自定义Bucket名称

自定义Bucket名称。

地域

华东1(杭州)

本教程以华东1(杭州)为例


4. 开启CloudLens for OSS并开通访问日志

开始实验之前,您需要先创建相关实验资源。

  1. 进入SLS控制台主页,找到日志应用>云产品Lens>CloudLens for OSS

  1. 首次使用时将会需要您先开启授权。

  1. 等待1分钟左右,您之前创建的Bucket将会出现在Bucketl列表页,在右侧访问明细日志列中,单击开启

  1. 确认开启访问明细日志对话框中,单击确认开启


5. 构造访问行为

  1. 进入OSS控制台,选择Bucket并上传文件

  1. 单击扫描文件将任意一个本地文件进行上传。

  1. 扫描文件后,文件栏显示已扫描待上传后,单击上传文件

  1. 出现如图所示即为上传成功。


6. OSS访问行为分析

  1. 进入SLS控制台,在CloudLens for OSS入口,选择查询分析>访问明细日志,选择地域,查看访问明细日志。

  1. 资源用量分析。

选择报表中心>资源用量,了解存储量、带宽等核心资源的使用情况。

查看存储量趋势/存储量分布/Bucket 存储量 Top20。

存储量占用/存储量计量依赖中心化的计量日志,可以方便您全局分析Bucket的存储、计量使用情况,CloudLens for OSS 默认开通计量日志。

选择报表中心>资源用量,查看外网流出流量/外网流出带宽/外网流入流量/外网流入带宽/流量分布/Bucket 流量 Top20/读请求和写请求趋势、分布。

流量/带宽/请求等依赖中心化的时序监控数据,可以方便您全局分析Bucket的内外网出入流量、带宽及读写请求等趋势分析。

  1. 访问分析。

选择报表中心>访问分析,了解使用行为情况,辅助产品使用和业务运营分析。

查看 Top 分析(热点来源地区、IP、refer)/分层请求分析(按文件大小)/状态码趋势/外网访问流量分布/外网访问请求量分布/访问来源按地区运营商 Top20/访问 PV、UV 趋势。

  1. 安全分析。

选择报表中心>安全分析,暴露不合理的配置和高危操作,给出优化建议。

查看 Bucket 配置健康分析、删除 object 趋势、删除 object 的 top IP 统计、Bucket 删除文件统计、高危操作数据分析等;删除、private/public read/public read&write 权限、多版本、实时日志、加密、防盗链开启情况检测。

Bucket 配置健康分析依赖计量日志,主要针对Bucket的配置分险点提供优化建议,尽量避免可能的隐患。


7. 清理及后续

1、CloudLens for OSS关闭开启的访问日志。

2、删除创建的butket。

实验链接:https://developer.aliyun.com/adc/scenario/01a5754adc604f4e8ba557f128c2aee8


相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
相关文章
|
28天前
|
存储 分布式计算 监控
【Flume】Flume 监听日志文件案例分析
【4月更文挑战第4天】【Flume】Flume 监听日志文件案例分析
|
3天前
|
存储 监控 关系型数据库
PHP编写的电脑监控软件:用户登录日志记录与分析
使用PHP编写简单但功能强大的电脑监控软件,记录用户登录日志并进行分析。代码示例展示了如何获取并存储用户IP地址和登录时间到数据库,然后进行登录数据的分析,如计算登录频率和常见登录时间。此外,还介绍了如何通过定时任务自动将监控数据提交到网站,以便实时监控用户活动,提升系统安全性和稳定性。
16 0
|
4天前
|
数据可视化
R语言两阶段最小⼆乘法2SLS回归、工具变量法分析股息收益、股权溢价和surfaces曲面图可视化
R语言两阶段最小⼆乘法2SLS回归、工具变量法分析股息收益、股权溢价和surfaces曲面图可视化
10 0
|
9天前
|
机器学习/深度学习 前端开发 数据挖掘
工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断(下)
工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断
78 11
|
15天前
工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断2
工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断
18 0
|
15天前
|
机器学习/深度学习 前端开发 数据挖掘
R语言计量经济学:工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断
R语言计量经济学:工具变量法(两阶段最小二乘法2SLS)线性模型分析人均食品消费时间序列数据和回归诊断
42 0
|
27天前
|
SQL 存储 监控
日志问题精要:分析与总结
该文档讲述了应用系统日志记录的重要性和规则。主要目的是记录操作轨迹、监控系统状态和回溯故障。日志记录点包括系统入口、调用其他模块、调用结束、出口和出错时。内容应遵循UTF-8编码,避免敏感信息,按INFO级别记录,及时、完整且安全。日志输出要控制频率和长度,不影响系统性能,并按策略备份和清理。日志等级分为DEBUG、INFO、WARN、ERROR和FATAL。日志文件应有明确目录结构,大小有限制,并定期清理。注意事项包括输出异常堆栈、避免打印对象实例的hashCode、选择合适的日志框架和格式,并支持动态修改日志级别。还要实现链路追踪,确保在多线程环境中正确记录日志。
23 0
|
2月前
|
存储 监控 NoSQL
【Redis技术专区】「优化案例」谈谈使用Redis慢查询日志以及Redis慢查询分析指南
【Redis技术专区】「优化案例」谈谈使用Redis慢查询日志以及Redis慢查询分析指南
30 0
|
2月前
|
存储
Hudi Log日志文件格式分析(一)
Hudi Log日志文件格式分析(一)
27 1
|
2月前
|
缓存 索引
Hudi Log日志文件写入分析(二)
Hudi Log日志文件写入分析(二)
21 1

相关产品

  • 日志服务