使用日志服务SLS进行OSS可观测分析

简介: 本场景主要介绍如何使用SLS提供的CloudLens for OSS功能针对对象存储OSS进行可观测分析,包括资源用量、访问分析、安全分析、异常检测等角度。

使用日志服务SLS进行OSS可观测分析


1. 云起实验室实验资源方式介绍

云起实验室实验资源方式介绍

云起实验室支持实验资源体验、领取免费试用额度、个人账户资源三种实验资源方式。

  • 实验资源体验
  • 资源归属于客户,仅供本次实验使用
  • 实验结束后,实验资源及实验记录将被释放。
  • 资源创建过程需要3~5分钟(视资源不同开通时间有所差异,ACK等资源开通时间较长)。完成实验资源的创建后,在实验室页面左侧导航栏中,单击云产品资源列表,可查看本次实验资源相关信息(例如子用户名称、子用户密码、AK ID、AK Secret、资源中的项目名称等)。
  • 说明:实验环境一旦开始创建则进入计时阶段,建议学员先基本了解实验具体的步骤、目的,真正开始做实验时再进行创建。

  • 领取免费试用额度
  • 使用个人账号开通试用,平台仅提供手册参考。
  • 所有实验操作将保留至您的账号,请谨慎操作。
  • 在实验页面下方卡片会展示本实验支持的试用规格,可以选择你要试用的云产品资源进行开通。您在实验过程中,可以随时用右下角icon唤起试用卡片。阿里云支持试用的产品列表、权益及具体规则说明请参考开发者试用中心
  • 说明:试用云产品开通在您的个人账号下,并占用您的试用权益。如试用超出免费试用额度,可能会产生一定费用。

  • 个人账户资源
  • 使用您个人的云资源进行操作,资源归属于个人。
  • 所有实验操作将保留至您的账号,请谨慎操作。
  • 平台仅提供手册参考,不会对资源做任何操作。
  • 说明:使用个人账户资源,在创建资源时,可能会产生一定的费用,请您及时关注相关云产品资源的计费概述。

准备开始实验

在实验开始前,请您选择其中一种实验资源,单击确认开启实验

说明:每个实验所支持的实验资源方式都不相同,实验不一定能满足有三种实验资源方式,请根据实验的实际情况,进行选择。


2. 领取免费试用资源

实验前必看!

  • 如果您的阿里云主账号符合开通免费试用的资格,建议您开通免费试用日志服务,日志服务免费试用时长为3个月,每个月100CU额度,超出免费额度的用量,计入按量付费,会产生后付费账单,具体计费详情,请参见计费概述
  • 如果您的阿里云账号只能领取部分免费试用产品,请您领取符合免费试用资格的产品,然后进入实验,不满足免费试用资格的产品将会使用个人账户资源进行创建,并会产生一定的费用,请您及时关注账户扣费。

为了避免资源浪费并造成账号扣费的情况,请严格按照本文提供的参数进行配置。在实验完成之后,请您及时删除或禁用压测任务。

  1. 在实验开始前,请您选择开通免费试用。

  1. 开通日志服务SLS免费试用。

2.1 在实验室页面下方,选择日志服务SLS,单击立即试用

2.2 在日志服务SLS面板上,选中服务协议,单击立即试用

  1. 开通对象存储OSS免费试用。

3.1 在实验室页面下方,选择对象存储OSS,单击立即试用

3.2 在对象存储OSS面板,选中服务协议,然后单击立即试用,如弹出新的页面,您可先忽略。

  1. 领取完免费试用后,返回资源领取界面,单击我已开通,进入实验。

说明:如果您的阿里云账号只能领取部分免费试用产品,请您领取符合免费试用资格的产品,然后进入实验,不满足免费试用资格的产品将会使用个人账户资源进行创建,并会产生一定的费用,请您及时关注账户扣费。


3. 创建资源

  1. 开通日志服务SLS

说明:

  • 如果您选择的免费试用,并且在上一步骤中领取了日志服务SLS免费试用,请您跳过本步骤,直接进行下一小节操作。
  • 如果您选择的免费试用,但是您的阿里云主账号没有资格领取日志服务SLS的免费试用,请您根据如下操作,开通日志服务SLS,进行按量付费,会产生后付费账单,具体计费详情,请参见计费概述
  • 如果您选择的个人资源,请您根据如下操作,开通日志服务SLS,进行按量付费,会产生后付费账单,具体计费详情,请参见计费概述

1.1 登录日志服务控制台

1.2 根据页面提示,开通日志服务。

日志服务的计费说明,请参见计费概述

  1. 创建对象存储OSS

说明:

  • 如果您选择的免费试用,并且在上一步骤中领取了对象存储OSS的免费试用,请您根据如下操作,创建Bucket。
  • 如果您选择的免费试用,但是您的阿里云主账号没有资格领取对象存储OSS的免费试用,请您根据如下操作,创建Bucket,并且会产生一定的费用,详情请参考计费概述
  • 如果您选择的个人资源,请您根据如下操作,创建Bucket,并且会产生一定的费用,详情请参考计费概述

2.1 前往对象存储OSS控制台,在左侧导航栏中,单击Bucket列表。

2.2 在Bucket列表页面,单击创建Bucket。

2.3 在创建Bucket面板,参考如下说明配置Bucket,未提及的配置保持默认选项,然后单击确定。

配置项

示例

说明

Bucket名称

自定义Bucket名称

自定义Bucket名称。

地域

华东1(杭州)

本教程以华东1(杭州)为例


4. 开启CloudLens for OSS并开通访问日志

开始实验之前,您需要先创建相关实验资源。

  1. 进入SLS控制台主页,找到日志应用>云产品Lens>CloudLens for OSS

  1. 首次使用时将会需要您先开启授权。

  1. 等待1分钟左右,您之前创建的Bucket将会出现在Bucketl列表页,在右侧访问明细日志列中,单击开启

  1. 确认开启访问明细日志对话框中,单击确认开启


5. 构造访问行为

  1. 进入OSS控制台,选择Bucket并上传文件

  1. 单击扫描文件将任意一个本地文件进行上传。

  1. 扫描文件后,文件栏显示已扫描待上传后,单击上传文件

  1. 出现如图所示即为上传成功。


6. OSS访问行为分析

  1. 进入SLS控制台,在CloudLens for OSS入口,选择查询分析>访问明细日志,选择地域,查看访问明细日志。

  1. 资源用量分析。

选择报表中心>资源用量,了解存储量、带宽等核心资源的使用情况。

查看存储量趋势/存储量分布/Bucket 存储量 Top20。

存储量占用/存储量计量依赖中心化的计量日志,可以方便您全局分析Bucket的存储、计量使用情况,CloudLens for OSS 默认开通计量日志。

选择报表中心>资源用量,查看外网流出流量/外网流出带宽/外网流入流量/外网流入带宽/流量分布/Bucket 流量 Top20/读请求和写请求趋势、分布。

流量/带宽/请求等依赖中心化的时序监控数据,可以方便您全局分析Bucket的内外网出入流量、带宽及读写请求等趋势分析。

  1. 访问分析。

选择报表中心>访问分析,了解使用行为情况,辅助产品使用和业务运营分析。

查看 Top 分析(热点来源地区、IP、refer)/分层请求分析(按文件大小)/状态码趋势/外网访问流量分布/外网访问请求量分布/访问来源按地区运营商 Top20/访问 PV、UV 趋势。

  1. 安全分析。

选择报表中心>安全分析,暴露不合理的配置和高危操作,给出优化建议。

查看 Bucket 配置健康分析、删除 object 趋势、删除 object 的 top IP 统计、Bucket 删除文件统计、高危操作数据分析等;删除、private/public read/public read&write 权限、多版本、实时日志、加密、防盗链开启情况检测。

Bucket 配置健康分析依赖计量日志,主要针对Bucket的配置分险点提供优化建议,尽量避免可能的隐患。


7. 清理及后续

1、CloudLens for OSS关闭开启的访问日志。

2、删除创建的butket。

实验链接:https://developer.aliyun.com/adc/scenario/01a5754adc604f4e8ba557f128c2aee8


相关实践学习
对象存储OSS快速上手——如何使用ossbrowser
本实验是对象存储OSS入门级实验。通过本实验,用户可学会如何用对象OSS的插件,进行简单的数据存、查、删等操作。
相关文章
|
8月前
|
存储 人工智能 运维
防御OSS Bucket泄露:RAM权限策略+日志审计+敏感数据扫描三重防护
云存储安全三重防护体系,聚焦RAM权限控制、日志审计与敏感数据扫描,通过策略精控、异常检测与主动扫描构建闭环防御,有效应对配置错误导致的数据泄露风险,提升企业云上数据安全性。
535 0
|
10月前
|
存储 运维 监控
SelectDB 实现日志高效存储与实时分析,完成任务可领取积分、餐具套装/水杯/帆布包!
SelectDB 实现日志高效存储与实时分析,完成任务可领取积分、餐具套装/水杯/帆布包!
|
5月前
|
监控 安全 搜索推荐
使用EventLog Analyzer进行日志取证分析
EventLog Analyzer助力企业通过集中采集、归档与分析系统日志及syslog,快速构建“数字犯罪现场”,精准追溯安全事件根源。其强大搜索功能可秒级定位入侵时间、人员与路径,生成合规与取证报表,确保日志安全防篡改,大幅提升调查效率,为执法提供有力证据支持。
204 0
|
10月前
|
SQL 监控 数据挖掘
SLS 重磅升级:超大规模数据实现完全精确分析
SLS 全新推出的「SQL 完全精确」模式,通过“限”与“换”的策略切换,在快速分析与精确计算之间实现平衡,满足用户对于超大数据规模分析结果精确的刚性需求。标志着其在超大规模日志数据分析领域再次迈出了重要的一步。
668 117
|
7月前
|
监控 安全 NoSQL
【DevOps】Logstash详解:高效日志管理与分析工具
Logstash是ELK Stack核心组件之一,具备强大的日志收集、处理与转发能力。它支持多种数据来源,提供灵活的过滤、转换机制,并可通过插件扩展功能,广泛应用于系统日志分析、性能优化及安全合规等领域,是现代日志管理的关键工具。
1083 0
|
9月前
|
自然语言处理 监控 安全
阿里云发布可观测MCP!支持自然语言查询和分析多模态日志
阿里云可观测官方发布了Observable MCP Server,提供了一系列访问阿里云可观测各产品的工具能力,包含阿里云日志服务SLS、阿里云应用实时监控服务ARMS等,支持用户通过自然语言形式查询
1268 0
阿里云发布可观测MCP!支持自然语言查询和分析多模态日志
|
8月前
|
人工智能 运维 监控
Aipy实战:分析apache2日志中的网站攻击痕迹
Apache2日志系统灵活且信息全面,但安全分析、实时分析和合规性审计存在较高技术门槛。为降低难度,可借助AI工具如aipy高效分析日志,快速发现攻击痕迹并提供反制措施。通过结合AI与学习技术知识,新手运维人员能更轻松掌握复杂日志分析任务,提升工作效率与技能水平。
|
11月前
|
存储 消息中间件 缓存
MiniMax GenAI 可观测性分析 :基于阿里云 SelectDB 构建 PB 级别日志系统
基于阿里云SelectDB,MiniMax构建了覆盖国内及海外业务的日志可观测中台,总体数据规模超过数PB,日均新增日志写入量达数百TB。系统在P95分位查询场景下的响应时间小于3秒,峰值时刻实现了超过10GB/s的读写吞吐。通过存算分离、高压缩比算法和单副本热缓存等技术手段,MiniMax在优化性能的同时显著降低了建设成本,计算资源用量降低40%,热数据存储用量降低50%,为未来业务的高速发展和技术演进奠定了坚实基础。
495 1
MiniMax GenAI 可观测性分析 :基于阿里云 SelectDB 构建 PB 级别日志系统
|
11月前
|
SQL 存储 自然语言处理
让跨 project 联查更轻松,SLS StoreView 查询和分析实践
让跨 project 联查更轻松,SLS StoreView 查询和分析实践
223 1
|
12月前
|
SQL 分布式计算 Serverless
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
292 0

相关产品

  • 日志服务