Alibaba Cloud Lens for OSS最佳实践

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: ——其冀阿里云智能产品专家

一、产品介绍

image.png

众所周知,对象存储是云存储最为普遍的形态之一。随着客户数字化转型的持续深入,更多的应用服务与产品开始部署于云上,存放在 OSS 上的数据也开始持续快速增长,数据成为了客户最为重要的资产之一。

与此同时,用户在管理、运营、维护资产时,也面临了一系列挑战。

首先,对资源缺乏更精细的管理。比如客户在使用 OSS 时,通过Dashboard 可以查看基础的用量数据,但是缺乏对于使用量的监测,无法自动预警以及灵活进行成本管理。

其次OSS 天然面向互联网的存储,客户需要密切关注访问情况,需要进行多维度的分析,以确保被正确访问与使用。虽然当前的 OSS 具备基础访问信息,但是缺乏多维度的分析,客户必须自行对日志进行分析,对用户的专业度要求极高

第三,当前 OSS 的基础监控信息实时性较低,无法慢去用户敏捷运维要求。

第四,OSS 客户带来非常丰富的功能特性,可以灵活满足业务要求。但是对于存储专业性高的用户,往往会出现使用不当、配置不当、无法快速定位异常等问题,需要最佳实践的指引。

如何帮助客户敏捷、专业、精细化地实现对象存储的运维管理?

image.png

阿里云的 Cloud Lens for OSS 利用了SLS 存储的分析底座,对接访问日志监控指标、关键配置计量多账号信息等数据源,通过日志指标计量等数据关联分析,实现加工查询分析、可视化监控预警、预订阅、智能巡航与建议引导。

用户可以通过 SLS 控制台上的Alibaba Cloud Lens 统一入口或 OSS 控制台上嵌入的入口实现双入口使用。

该产品通过了解 OSS 的使用情况,提供了访问分析、资源用量、异常检测、安全分析、健康度分析的场景化 inside 大盘。此外还提供了数据接入模块管理,包括接入管理、存储目标库管理、自动化采集配置通用功能模块等。

image.png

阿里云 Cloud Lens for OSS 目前的功能模块主要包括资源用量、访问分析、异常监测与健康度分析。通过资源用量,可以了解存储量、流量等核心资源的使用情况,并且可以多维度查看资源使用率通过访问分析,可以直观查看访问情况的分析,并且能够帮助业务运营分析通过异常监测,可以定义告警与规则,能够及时发现异常并快速响应通过健康度分析可以快速了解当前的配置安全情况,避免出现安全隐患与使用不当问题。

image.png

以上功能能够让用户更好管理对象存储的基础资源,提升自服务的能力,使用户具备了更全面的可观测能力,同时能够帮助用户自动完成数据采集。

image.png

场景一:实时告警的异常故障。

很多客户在使用 OSS 会遇到外网流量被盗刷的情况导致大量不合理的费用和舆情风险,急需及时预警的功能

通过AlibabaCloud Lens for OSS,用户可以对于监控指标项比如外网流量设置监控点阈值。出现异常情况时可快速告警,帮助用户收敛风险。

场景二:快速查看资源用量。

可以通过AlibabaCloud Lens for OSS的资源用量展板快速展示存储量、带宽等核心资源的使用情况,展示维度众多,比如可以按照 bucket 请求次数的 top 20排序展示,各种存储类别的使用量计量等均可进行监控

场景三:展示使用行为情况。

企业使用对象存储支撑核心业务,需要感知用户的使用行为,比如用户的访问来源访问方式热点情况等,需要通过此类信息来帮助做业务的运营分析。通过 Cloud Lens 可以帮助用户很好展示当前 OSS 访问情况,比如 top 的分析分层请求分析、状态码趋势外网的访问流量分布等。

场景四:发现配置隐患与高危的操作。

很多用户需要通过 OSS 来对外服务高危配置很容易导致数据泄露隐私泄露等。通过 Cloud Lens for OSS 可以帮助用户监测当前的配置是否安全,进行健康度分析,同时也能检测常用配置是否是按照最佳实践操作。配置可以帮助用户更好更安全地使用 OSS

二、Demo演示:Cloud Lens for OSS的使用与操作

image.png

接入管理页面为整体概览页从页面可以查看当前 OSS 总的 bucket 数量以及访问明细日志的数量,页面下方有明细清单,里面详细列出 bucket 所在地域以及访问明细日志的状态。

如果在OSS 控制台打开了实时查询功能,则可在访问明细日志状态查看采集中的状态。在报表中心可以快速获取资源用量访问分析与安全分析数据。

image.png

查询分析包括访问明细日志和计量日志。

访问明细日志主要基于用户的访问日志做分析支持通过表格或原始方式进行业务展示。统计图表可以查询用例,通过执行查询语句,查看用户的 bucket 对应的 get 请求、post 请求、 put请求与 delete 请求数量

image.png

通过计量日志可以快速获取计量项的计量信息,包括常见的OSS 计量项storageget_request 等。

image.png

异常检测可以帮助用户创建告警并了解告警态势。可在个告警中心特定的bucket 创建告警

image.png

比如用户对于 403 请求突增情况非常关注,则可以选择告警规则为“403请求突增”,设定相应的阈值与增长率的阈值、严重度、静默期、恢复通知以及连续触发阈值等指标

image.png

告警态势提供了从大盘角度查看当前OSS 告警情况的能力

报表中心提供了资源用量、访问分析、安全分析三个维度帮助用户了解资源的使用情况。

image.png

其中资源用量包括当前OSS 上主要存储类型占据多大的容量、分布情况如何、最大存储量最大bucket

image.png

另外因为OSS 面向互联网,流量也是一个非常重要的指标项用户可以查看带宽、流入流量与流入带宽等多个维度的信息,快速掌握当前的流量情况。

image.png

请求分析包括请求的分布请求的次数大小文件请求次数的分布状态码趋势的分布占用较高资源的流量等,可以轻松掌握业务状态。

image.png

安全分析可以帮助用户快速了解当前 OSS 上的配置情况。包括用公共读写 bucket 的数量重点数据保护或数据安全的配置项,比如多版本的配置情况防盗链的配置情况数据加密的配置情况等,帮助用户快速掌握当前 OSS 的安全状态。

image.png

除了bucket 的配置健康分析以外,可以选择具体区域查看对象级别的操作风险分析。

通过查询分析、异常检测报表中心等能力,Cloud Lens for OSS 可以帮助用户可以更好地实现可观测能力。

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
相关文章
|
18天前
|
存储 Cloud Native Serverless
云原生最佳实践系列 7:基于 OSS Object FC 实现非结构化文件实时处理
阿里云OSS对象存储方案利用函数计算FC,在不同终端请求时实时处理OSS中的原图,减少衍生图存储,降低成本。
|
2月前
|
存储 安全 数据中心
Terraform 系列 -Terraform Cloud 比 Terraform OSS 有哪些增强?
Terraform 系列 -Terraform Cloud 比 Terraform OSS 有哪些增强?
|
8月前
|
存储 前端开发 JavaScript
|
9月前
|
SQL 存储 运维
使用CloudLens for OSS构建Bucket资产可观测性实践
本文介绍通过CloudLens for OSS计量日志的自定义查询分析,来构建不同Bucket之间资产趋势可观测性对比分析。
147 0
|
10月前
|
SQL 存储 监控
通过sdk查看oss投递(新版)延迟情况最佳实践
在投递任务中,日志服务会将运行日志写入到给定的logstore中,因而可以使用SDK来查看投递任务的当前状态,并进行批量查询,以了解多个Project和投递任务的状态。下面以查看oss投递的延迟为例,介绍客户提供操作步骤和常见的使用场景,以帮助客户更加方便地监控和管理投递任务。
通过sdk查看oss投递(新版)延迟情况最佳实践
|
存储 运维 监控
洞悉海量Bucket资产--带你玩转CloudLens之OSS
日志服务联合阿里云OSS推出CloudLens for OSS,支持Bucket粒度的统一管理视图,支持资源用量、访问分析、异常检测、安全分析等可视化分析能力,提供场景化运维管理,实现Bucket资产的可观测性。
184 0
|
存储 运维 监控
CloudLens for OSS--数据洞察可观测平台发布
日志服务联合阿里云OSS推出CloudLens for OSS,支持Bucket粒度的统一管理视图,支持资源用量、访问分析、异常检测、安全分析等可视化分析能力,提供场景化运维管理,实现Bucket资产的可观测性。
202 0
|
SQL 分布式计算 关系型数据库
Hive 数仓迁移 JindoFS/OSS 数据湖最佳实践
Hive 数仓是大多数迁移客户都会遇到的场景。在迁移过程中,不建议同时在新集群进行业务升级(比如从 Hive on MR 迁移到 Hive on Tez 或 Spark SQL等),这些业务升级可以在迁移完成后进行。1. 元数据同步Hive 元数据是对于 Hive 表来说非常关键,除了表结构信息,里面还记录着 Hive 表与底层文件系统的关联关系,许多上层服务都依赖 Hive 元数据提供服务。a.
567 0
|
存储 SQL 机器学习/深度学习
OSS加速器最佳实践-总述篇
OSS加速器最佳实践(总述篇)本最佳实践提供OSS加速器相关的信息和适合的场景,面向对oss和数据湖相关技术有一定了解的开发者。     大家可以通过这俩篇先做一些了解相关文档:《配置OSS加速器》https://help.aliyun.com/document_detail/190726.html《OSS加速器介绍》https://developer.aliyun.com/article/780
OSS加速器最佳实践-总述篇
|
对象存储
云速搭部署OSS及资源包最佳实践
本实践通过云速搭设计一个 OSS 的架构,通过 OSS 提供的路径可以下载相应的文件。
云速搭部署OSS及资源包最佳实践