一、产品介绍
众所周知,对象存储是云存储最为普遍的形态之一。随着客户数字化转型的持续深入,更多的应用服务与产品开始部署于云上,存放在 OSS 上的数据也开始持续快速增长,数据成为了客户最为重要的资产之一。
与此同时,用户在管理、运营、维护资产时,也面临了一系列挑战。
首先,对资源缺乏更精细的管理。比如客户在使用 OSS 时,通过Dashboard 可以查看基础的用量数据,但是缺乏对于使用量的监测,无法自动预警以及灵活地进行成本管理。
其次,OSS 是天然面向互联网的存储,客户需要密切关注访问情况,需要进行多维度的分析,以确保被正确访问与使用。虽然当前的 OSS 具备基础访问信息,但是缺乏多维度的分析,客户必须自行对日志进行分析,对用户的专业度要求极高。
第三,当前 OSS 的基础监控信息实时性较低,无法慢去用户的敏捷运维要求。
第四,OSS 为客户带来非常丰富的功能特性,可以灵活满足业务要求。但是对于存储的专业性不高的用户,往往会出现使用不当、配置不当、无法快速定位异常等问题,需要最佳实践的指引。
如何帮助客户敏捷、专业、精细化地实现对象存储的运维管理?
阿里云的 Cloud Lens for OSS 利用了SLS 存储的分析底座,对接访问日志、监控指标、关键配置计量、多账号信息等数据源,通过日志、指标、计量等数据关联分析,实现加工、查询分析、可视化、监控预警、预订阅、智能巡航与建议引导。
用户可以通过 SLS 控制台上的Alibaba Cloud Lens 统一入口或 OSS 控制台上嵌入的入口实现双入口使用。
该产品通过了解 OSS 的使用情况,提供了访问分析、资源用量、异常检测、安全分析、健康度分析的场景化 inside 大盘。此外,还提供了数据接入模块管理,包括接入管理、存储目标库管理、自动化采集配置、通用功能模块等。
阿里云 Cloud Lens for OSS 目前的功能模块主要包括资源用量、访问分析、异常监测与健康度分析。通过资源用量,可以了解存储量、流量等核心资源的使用情况,并且可以多维度地查看资源使用率;通过访问分析,可以直观地查看访问情况的分析,并且能够帮助业务做运营分析;通过异常监测,可以定义告警与规则,能够及时发现异常并快速响应;通过健康度分析,可以快速了解当前的配置安全情况,避免出现安全隐患与使用不当等问题。
以上功能能够让用户更好地管理对象存储的基础资源,提升自服务的能力,使用户具备了更全面的可观测能力,同时能够帮助用户自动完成数据采集。
场景一:实时告警的异常故障。
很多客户在使用 OSS 时会遇到外网流量被盗刷的情况,导致大量不合理的费用和舆情风险,急需及时预警的功能。
通过AlibabaCloud Lens for OSS,用户可以对于监控指标项比如外网流量设置监控点阈值。出现异常情况时可快速告警,帮助用户收敛风险。
场景二:快速查看资源用量。
可以通过AlibabaCloud Lens for OSS的资源用量展板快速展示存储量、带宽等核心资源的使用情况,展示维度众多,比如可以按照 bucket 请求次数的 top 20排序展示,各种存储类别的使用量、计量等均可进行监控。
场景三:展示使用行为情况。
企业使用对象存储支撑核心业务,需要感知用户的使用行为,比如用户的访问来源、访问方式、热点情况等,需要通过此类信息来帮助做业务的运营分析。通过 Cloud Lens 可以帮助用户很好地展示当前的 OSS 访问情况,比如 top 的分析、分层请求分析、状态码趋势、外网的访问流量分布等。
场景四:发现配置隐患与高危的操作。
很多用户需要通过 OSS 来对外服务,高危配置很容易导致数据泄露、隐私泄露等。通过 Cloud Lens for OSS 可以帮助用户监测当前的配置是否安全,进行健康度分析,同时也能检测常用配置是否是按照最佳实践操作。配置可以帮助用户更好、更安全地使用 OSS。
二、Demo演示:Cloud Lens for OSS的使用与操作
接入管理页面为整体概览页,从页面中可以查看当前 OSS 总的 bucket 数量以及访问明细日志的数量,页面下方有明细清单,里面详细列出了 bucket 所在地域以及访问明细日志的状态。
如果在OSS 控制台打开了实时查询功能,则可在访问明细日志状态中查看采集中的状态。在报表中心可以快速获取资源用量、访问分析与安全分析等数据。
查询分析包括访问明细日志和计量日志。
访问明细日志主要基于用户的访问日志做分析,支持通过表格或原始方式进行业务展示。统计图表里可以查询用例,通过执行查询语句,可查看用户的 bucket 对应的 get 请求、post 请求、 put请求与 delete 请求数量。
通过计量日志可以快速获取计量项的计量信息,包括常见的OSS 计量项、storage、get_request 等。
异常检测可以帮助用户创建告警并了解告警态势。可在个告警中心为特定的bucket 创建告警。
比如用户对于 403 请求突增的情况非常关注,则可以选择告警规则为“403请求突增”,设定相应的阈值与增长率的阈值、严重度、静默期、恢复通知以及连续触发阈值等指标。
告警态势提供了从大盘角度查看当前OSS 告警情况的能力。
报表中心提供了资源用量、访问分析、安全分析三个维度帮助用户了解资源的使用情况。
其中资源用量包括当前OSS 上主要的存储类型、共占据多大的容量、分布情况如何、最大存储量、最大bucket等。
另外,因为OSS 面向互联网,流量也是一个非常重要的指标项,用户可以查看带宽、流入流量与流入带宽等多个维度的信息,快速掌握当前的流量情况。
请求分析包括请求的分布、请求的次数、大小文件请求次数的分布、状态码趋势的分布、占用较高资源的流量等,可以轻松掌握业务状态。
安全分析可以帮助用户快速了解当前 OSS 上的配置情况。包括用公共读写 bucket 的数量、重点数据保护或数据安全的配置项,比如多版本的配置情况、防盗链的配置情况、数据加密的配置情况等,帮助用户快速掌握当前 OSS 的安全状态。
除了bucket 的配置健康分析以外,还可以选择具体区域查看对象级别的操作风险分析。
通过查询分析、异常检测、报表中心等能力,Cloud Lens for OSS 可以帮助用户可以更好地实现可观测能力。