Alibaba Cloud Lens云产品可观测平台

本文涉及的产品
应用实时监控服务-可观测链路OpenTelemetry版,每月50GB免费额度
性能测试 PTS,5000VUM额度
应用实时监控服务-用户体验监控,每月100OCU免费额度
简介: ——孟威阿里云智能日志服务SLS产品专家

一、业务需求

image.png

相比传统告警监控,可观测性能够以白盒方式看透整个复杂系统,帮助更好观察系统运行状态,可以快速定位与解决问题。监控系统主要监控服务性能可用性,尽早发现系统问题。而可观测性的侧重点在于关注如何定位问题、预防问题以及掌控组件运行情况

我们基于SLS产品能力构建云产品可观测新能力面向tracelog metrics 建立了一套一站式可观测性数据洞察,在此基础之上能够提供场景化能力,确保防患于未然。

以发动机为例,告警与监控只是明确发动机是否有问题,可以帮助大致确定哪个部件可能有问题。而真正定位细节问题,还需观察每个部件传感器数据等,这就是可观测性。

image.png

随着云上企业使用云产品种类越来越多,构建完善云产品可观测性对于全栈可观测性方案变得更为重要。

2021 年,可观测性与智能运维国标编写已经全面启动,能够促进可观测性技术更好使用云。

image.png

随着企业上云趋势的加快,如何更好、更合理使用云产品是多数企业的痛点。比如数据孤岛问题,数据分散在多个系统之间来切换,缺乏统一视角;比如难以关联分析问题,云产品指标、日志配置等相关信息也缺乏统一关联数据手段;比如实时与灵活度不够,难以对大规模秒级分析进行预警难以灵活分析不同粒度和算子不同维度;比如客户对于云产品不熟悉通过数据来帮助使用云产品,及早发现过程中的异常稳定性与安全配置不当问题,也缺乏最佳实践。

云产品可观测性的建设挑战存在于多个维度

① 用量管理:比如费用成本是否可控、是否会出现使用不合理等异常情况。

② 安全监控:比如云产品性能指标是否异常,需要及时预警以避免对业务造成影响。

③ 安全与合规:比如如何保障访问安全与数据安全

④ 稳定性:能否及时发现故障与可用性问题,通过日志分析能力运维监控来排查问题。

⑤ 访问治理分析:比如帮助用户建立企业分析业务运营产品访问情况优化云产品使用方式,避免不正确使用带来额外的成本与风险

image.png

基于以上需求,我们打造了Alibaba Cloud Lens,针对网络、计算、数据库、存储、安全等各类产品构建面向成本、性能、安全、数据保护、稳定性、访问分析等多个维度的云产品统一可观测能力。

image.png

Alibaba Cloud Lens能够帮助客户以极低门槛使用云产品可观测可以实现计量指标访问日志、审计日志,实现跨账号、跨地域自动数据采集。同时它也能够提供非常全面可观测能力,包含了用量分析、访问分析、性能分析、异常检测、安全分析以及数据保护等多个维度。支持多种订阅方式,比如消费组API 或对接Grafana 等数据订阅方式。

二、产品介绍

image.png

上图为Alibaba Cloud Lens架构图。利用SLS 存储底座对接各种日志监控指标、云产品 trace 数据trail 关键配置计量信息多账号信息等数据源。可以透过Alibaba Cloud Lens 统一入口或云产品控制台来使用该产品了解存储安全、网络数据库、流量类主流云产品使用情况。

Alibaba Cloud Lens可以创建统一云产品访问分析、用量分析、资源管理、监控分析、数据保护等一系列场景化 inside大盘可以将日志、指标、计量数据进行关联分析,实现加工查询分析、可视化监控告警智能巡检与建议引导。

此外Alibaba Cloud Lens还提供数据管理与接入模块,可自动化采集部分数据信息用于做接入管理存储目标库管理、自动化采集配置等一系列通用功能模块。

image.png

Alibaba Cloud Lens为客户提供云产品主要分为用量分析、性能监控、安全分析、数据保护、异常检测、访问分析等服务。

l  用量分析:可以通过用量分析查看资源使用量,从多维度查看统计,并设置用量预警来检测不合理与异常使用模式。

l  访问分析通过访问情况分析来辅助产品使用与业务运营分析。

l  异常检测:主要针对错误率与可用性问题,可及时发现产品使用异常,比如是否检测出不合理费用,比如 OSS 面临外网访问流量盗刷低频与归档型异常频繁取回提前删除存储类型等问题。我们内置 policy 规则库,可针对以上情况进行告警。

l  安全分析:通过加密权限阻止恶意访问,避免出现性能不当数据安全情况。

l  性能监控性能指标如何监控及时预警不同产品所关心性能指标获取能力有所不同。

l  数据保护可以查看数据保护情况,帮助用户获取数据保护建议,并引导其操作,比如通过 hbr 跳转开启数据保护功能。

image.png

目前,Alibaba Cloud Lens已经能够提供存储类、网络类、数据库类云产品运维管理能力已经发布了 8 款产品,存储类包含对象存储 OSS 块存储EBS 日志存储 SLS 网络类包含负载均衡 ALB CLB 数据库类包含Redis PolarDBRDS

image.png

Alibaba Cloud Lens云产品可观测平台也在规划更多主流云产品,覆盖存储网络、数据库、安全流量计算类等更多重点云产品可观特性。

image.png

目前 SLS 已经接入超过 30 款主流云产品。

三、场景示例

image.png

Alibaba Cloud Lens for EBS主要针对块存储提供数据分析、资源监控能力可以帮助用户管理存储资源信息以及性能监控,高效解业务波动资源使用与性能消耗情况提供了性能监控、用量分析、安全分析、访问分析、异常检测与数据保护能力。

image.png

Alibaba Cloud Lens for OSS 针对对象存储 OSS 帮助用户实现资源用量监控、访问审计、健康度分析、异常事件回溯与问题定位等工作。资源用量可以非常精细化展示存储量、带宽等核心资源使用情况。访问分析展示用户使用云产品分布情况,帮助业务运营分析。异常检测可以通过自定义告警与内置 policy 规则库,及时发现错误率与可用性以及使用不当风险问题。健康度分析可以及时暴露不合理配置与高危操作。

image.png

日志服务SLS 团队联合了负载均衡团队,发布了应用型负载均衡日志中心Alibaba Cloud Lens for ALB以及传统型负载均衡日志中心Alibaba Cloud Lens for CLB 可以为不同类型负载均衡提供访问日志分析、秒级监控、实时告警能力。

同时提供基于AIOps自动异常巡检功能,可一键式开启 ALB CLB 访问日志采集功能集中管理日志采集状态,集中管理当前阿里云账号下所有 ALB CLB 实例。基于原始访问日志,可以实时提取出各类指标信息支持多个维度组合,提供丰富可视化报表能力智能巡检能力与自定义告警配置。

image.png

Alibaba Cloud Lens for Redis 基于阿里云日志服务 SLS 为用户提供日志查询、在线分析导出等功能,帮助及时掌控产品安全与性能情况。该能力也非常有效解决了以往客户在使用过程中时常遇到的问题,比如单实例监控无法实现全盘监控信息,缺少统一资产管理与直观数据分析,不具备自定义分析查询能力。

Alibaba Cloud Lens for Redis集中统一 Redis 实例资产,可以帮助用户轻松获取数据库运行日志、慢日志以及审计日志监控与分析,提升 Redis 资源管理效率与实时资源运行分析。同时提供更长时间段比如1-365 日志存储平台。

image.png

Alibaba Cloud Lens for Redis PolarDB可以轻松帮助用户洞悉百 TB 的云原生数据库。再好数据库产品也无法避免日志审计、性能调优、错误监控满足安全合规、交易提速与故障响应等需求,而大部分需求都可以通过分析数据库日志得到满足。

当前PolarDB 提供了日志审计性能指标慢查询日志、错误日志四种能力然而PolarDB 内置日志查看能力尚且无法满足以上需求,缺乏全局视图分析能力较弱存储时间非常短。

Alibaba Cloud Lens for PolarDB联合了日志服务团队与PolarDB 团队发布一款PolarDB 数据运营应用,其主要功能包括实现全局PolarDB 实例资产视图,帮助用户一键了解全部资产,方便配置数据库审计日志、性能指标慢日志以及错误日志监控与分析。

依托SLS 平台基础能力,PolarDB 用户可以轻松自定义 SQL 来做 SQL 查询关联查询,内置报表,帮助用户基于安全性能与监控来了解业务需求。

image.png

Alibaba Cloud Lens for RDS 可以实时查看 RDS 审计日志采集状态,可以集中管理采集配置,并基于采集到日志进行后续审计分析与告警一系列操作。

四、售卖与支持

image.png

上图为Alibaba Cloud Lens存储网络安全数据库与流量类计费说明内容可点击以下链接获取

Alibaba Cloud Lens 云产品可观测系列产品:

存储类

Alibaba Cloud Lens for OSS

Alibaba Cloud Lens for EBS

Alibaba Cloud Lens for SLS

网络类:

Alibaba Cloud Lens for ALB

Alibaba Cloud Lens for CLB

数据库类:

Alibaba Cloud Lens  for Redis

Alibaba Cloud Lens  for PolarDB

Alibaba Cloud Lens  for RDS

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
6月前
|
SQL 存储 运维
开启 Alibaba Cloud Lens Copilot 探索之旅
Alibaba Cloud Lens Copilot 大模型助力云设施运维与运营:Alibaba Cloud Lens Copilot 采用基于通义模型的 NL2Query 技术,融合 Alibaba Cloud Lens 中的资产数据与知识图谱,分析运维场景多模态数据,实现了 Q/A 查询和应答功能,准确将自然语言翻译查询语句及时找到结果。
109969 3
|
缓存 前端开发 Java
基于 OpenSergo 标准构建 Spring Cloud Alibaba 流量路由能力(二)| 学习笔记
快速学习基于 OpenSergo 标准构建 Spring Cloud Alibaba 流量路由能力
基于 OpenSergo 标准构建 Spring Cloud Alibaba 流量路由能力(二)| 学习笔记
|
存储 运维 监控
Alibaba Cloud Lens 云产品可观测平台
Alibaba Cloud Lens 作为云产品可观测平台,可以从成本、性能、安全、数据保护、稳定性、访问分析六个纬度,提供对存储类、网络类、数据库类等云产品的精细化运维辅助分析能力。让企业在保障业务敏捷性的前提下,低门槛实现对云产品的可观测。
2060 2
|
存储 机器学习/深度学习 运维
Alibaba Cloud Lens for ALB最佳实践
孙玉梅 阿里云智能高级研发工程师
Alibaba Cloud Lens for ALB最佳实践
|
存储 数据采集 运维
Alibaba Cloud Lens for OSS最佳实践
——其冀 阿里云智能产品专家
Alibaba Cloud Lens for OSS最佳实践
|
数据采集 运维 Cloud Native
Tapdata Cloud 场景通关系列:集成阿里云计算巢,实现一键云上部署真正开箱即用
本文是Tapdata Cloud上架到计算巢的方案介绍,原文请查看:https://mp.weixin.qq.com/s/nNiA7uijBMKWNv2xJNMQ5w【前言】作为中国的 “Fivetran/Airbyte”,  Tapdata Cloud 自去年发布云版公测以来,吸引了近万名用户的注册使用。应社区用户上生产系统的要求,Tapdata Cloud 3.0 将正式推出商业版服务,提供对
389 0
Tapdata Cloud 场景通关系列:集成阿里云计算巢,实现一键云上部署真正开箱即用
|
缓存 架构师 Java
基于 OpenSergo 标准构建 Spring Cloud Alibaba 流量路由能力(一)| 学习笔记
快速学习基于 OpenSergo 标准构建 Spring Cloud Alibaba 流量路由能力
基于 OpenSergo 标准构建 Spring Cloud Alibaba 流量路由能力(一)| 学习笔记
|
6月前
|
存储 SQL 监控
基于SLS平台与日志审计构建Cloud SIEM方案
安全事件和事件管理(security information and event management,SIEM)通过对来自各种数据源安全事件的收集和分析,来实现威胁检测、安全事件管理和合规性检测。SIEM是在安全信息管理(SIM)——收集、分析并报告日志数据,与安全事件管理(SEM)——实时分析日志和事件数据以提供威胁监视、事件关联和事件响应的基础上发展而来的。本文为您介绍如何基于SLS平台与日志审计构建Cloud SIEM方案。
283 6
基于SLS平台与日志审计构建Cloud SIEM方案
|
存储 数据采集 运维
Alibaba Cloud Lens for EBS最佳实践
——七贤 阿里云智能产品专家
Alibaba Cloud Lens for EBS最佳实践
|
存储 运维 监控
让云原生可观测化繁为简,Alibaba Cloud Lens正式发布
9月28日,阿里云正式发布了云产品可观测平台Alibaba Cloud Lens(Lens, 透镜的意思,取名为Lens意味着洞察云产品细微的变化),可以从成本、性能、安全、数据保护、稳定性、访问分析六个纬度,提供对存储类、网络类、数据库类等云产品的精细化运维管理能力。
658 0
让云原生可观测化繁为简,Alibaba Cloud Lens正式发布