开发者社区> 孟威> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

Alibaba Cloud Lens 云产品可观测平台

简介: Alibaba Cloud Lens 作为云产品可观测平台,可以从成本、性能、安全、数据保护、稳定性、访问分析六个纬度,提供对存储类、网络类、数据库类等云产品的精细化运维辅助分析能力。让企业在保障业务敏捷性的前提下,低门槛实现对云产品的可观测。
+关注继续查看

引言

随着云原生时代的到来,云上资源愈发复杂,架构更加多样,如果缺乏有效的云管理能力,将不可避免造成巨大的资源浪费和成本支出。

Alibaba Cloud Lens 作为云产品可观测平台,可以从成本、性能、安全、数据保护、稳定性、访问分析六个纬度,提供对存储类、网络类、数据库类等云产品的精细化运维辅助分析能力。让企业在保障业务敏捷性的前提下,低门槛实现对云产品的可观测。

IT运维为什么需要可观测性

当前,IT系统从单体式架构逐渐向分布式、微服务、云原生转变,传统的监控体系面临着巨大的挑战。可观测性的出现,正是为了解决云原生技术栈中,用户对微服务、容器化部署模式的不可感知、无法全局洞察的问题。

image

监控系统能够监控服务的性能、可用性、尽早发现系统问题。采用 Metrics 指标定义 Golden Metric,发现问题,通知对应负责任处理。

而可观测性是关注如何定位问题、预防问题、掌控组件运行状况。云产品构建可观测性能力,面向 Trace / Log/ Metrics 建立一站式可观测数据洞察平台,从而提供场景化洞察能力,确保找到根因防患于未然是系统具备可被观测的能力之后,我们在上面提供的工程能力。

相比传统的告警、监控,可观测性能够以更加“白盒”的方式看透整个复杂的系统,帮助我们更好地观察系统的运行状况,快速定位和解决问题。就像发动机而言,告警只是告诉你发动机是否有问题,而一些包含转速、温度、压力的仪表盘能够帮我们大致确定是哪个部分可能有问题,而真正定位细节问题还需要观察每个部件的传感器数据才行。由于企业数字化转型逐步深入,使用云产品类型也在不断增加,“云产品”可观测对于构建全栈的可观测方案尤为重要。

Alibaba Cloud Lens 云产品可观测平台 需求背景

政策驱动及技术趋势下,带来云产品的可观测的大量需求,云产品可观测平台的技术背景如下:

image

  • 企业上云,通过云产品的弹性、能力、快速创新力,快速构建企业业务的创新迭代。云产品的使用,在企业业务系统架构中发挥着巨大的作用。随着云上企业使用云产品类型的不断增加,“云产品”可观测对于构建全栈的可观测方案尤为重要。
  • 更多企业,会使用“可观测技术”来精细化运维管理和优化。Gartner 预测,到 2024 年 30% 的企业会使用可观测技术来优化资源花费、加速问题定位、提升用户体验,特别是对于使用云架构的企业。
  • 2021 年可观测与智能运维国标编写已启动,会对通过“可观测”技术,去更好的使用云,起到促进作用。其中,都提出“被观测”的“对象”-云平台的云产品,应具备提供完善的可观测数据能力。

云产品的可观测需求

  • 提升云产品体验、易管理的竞争力与粘性
  • 提升云产品自服务能力效率
  • 帮客户低门槛获得云产品观测洞察,用好云产品

Alibaba Cloud Lens 云产品可观测平台 痛点

企业对云产品的合理使用与运维管理面临诸多挑战,但缺乏有效手段,云产品使用的痛点如下:

image

Flexera 调研表明,79% 的企业在如何使用云上,普遍缺乏经验的挑战。

  • 数据孤岛:数据分散、多个系统切换,缺乏统一的视角
  • 难以关联分析:云产品的日志/指标/配置等数据,缺乏统一关联分析的手段
  • 实时和灵活度不够:难实时预警与大规模秒级分析、灵活分析(粒度、纬度、算子)
  • 门槛高、缺乏最佳实践:客户对于云产品并不熟悉,难以通过数据得到有效的云产品的性能、使用不当、异常、稳定、安全配置不当等问题

Alibaba Cloud Lens 云产品可观测平台 挑战

企业在加快上云趋势下,需要合理的使用和管理“云资源”,云产品可观测建设面临严峻的挑战:

image

  • 用量管理(76%):资源使用量监测、费用是否可控,是否出现使用不合理或异常使用
  • 性能监控(55%):云产品性能指标是否异常,及时预警,避免影响业务。
  • 安全与合规(77%):如何保障访问安全、数据安全
  • 访问治理分析(71%):如何帮助企业分析业务运营及产品访问情况。客户急需优化云产品使用方式,不正确的使用导致额外的成本和风险问题。
  • 稳定性:是否及时发现异常故障及可用性问题。如何通过日志分析、运维监控提升排查效率

Alibaba Cloud Lens 云产品可观测平台 品牌定位

Alibaba Cloud Lens 基于 SLS 构建统一云产品可观测能力,为客户提供阿里云云产品的用量分析、性能监控、安全分析、数据保护、异常检测、访问分析等服务。从成本、性能、安全、数据保护、稳定性、访问分析六个纬度, 提供对云产品的运维辅助分析能力,帮助客户能够低门槛实现对云产品的可观测。

image

Alibaba Cloud Lens 云产品可观测平台 价值主张

image

帮助客户快速构建云产品的可观测性能力、用好云:

  • 统一云产品运维数据采集:计量、指标、访问日志、审计日志,跨账号、跨区域、自动数据采集
  • 更全面的云产品可观测:用量分析、访问分析、性能分析、异常检测、安全分析、数据保护
  • 可灵活订阅的数据平台:支持消费组/API/Grafana 等多种数据订阅方式

Alibaba Cloud Lens 云产品可观测平台 原理

image

  • Alibaba Cloud Lens 利用 SLS 存储分析底座,对接各种日志、监控指标、云产品 Trace 数据、Trail、关键配置计量、关键事件、多账号信息等数据源。
  • 用户可以通过 SLS 控制台 Lens 统一入口和云产品控制台嵌入 的双入口使用该产品。
  • 您可以通过它了解组织范围内的存储/安全/网络/流量/数据库类的云产品的 使用情况和活动。您可以创建一个统一的云产品访问分析、用量分析、异常监测、性能监控、安全分析、数据保护的场景化洞察大盘。
  • 通过日志/指标/计量等数据关联分析,实现加工查询分析、可视化、监控预警订阅、智能巡检和建议引导。
  • 此外,提供数据接入管理模块,包括接入管理、存储目标库管理、自动化采集配置;通用功能模块

Alibaba Cloud Lens 云产品可观测平台 功能介绍

image

Alibaba Cloud Lens 云产品可观测平台为客户提供云产品(主流产品)的用量分析、性能监控、安全分析、数据保护、异常检测、访问分析等服务,从成本、性能、安全、数据保护、稳定性、访问分析六个纬度,提供对云产品的运维辅助分析能力。场景化洞察框架 - 六大维度说明如下:

  1. 用量分析:对于资源使用量,多纬度查看统计,并可设置用量预警;检测不合理或异常使用模式。
  2. 访问分析:访问情况分析,辅助产品使用、业务运营分析。
  3. 异常检测:错误率、可用性等问题及时发现,提升业务整体稳定性。

1)产品工单、产品使用出现异常、不合理的费用等没有检测到的场景经验沉淀,比如 OSS 外网流量盗刷,低频或归档异常频繁取回或提前删除客户误选存储类型等;

2)用户自定义设置的告警规则,并且内置异常规则库。

  1. 安全分析:权限、加密等情况的查看,及恶意访问检测;避免使用不当的数据安全问题。
  2. 性能监控:性能指标监控,及时预警。注:不同产品的性能指标的数据获取能力不同。
  3. 数据保护:查看数据保护开启情况,获取数据保护建议;引导到数据保护功能或对应云产品。

1)指的是存储功能:容灾、快照、版本管理的状态监测/查看

2)数据保护和 HBR 关系:LENS 检测是否开启数据保护,引导客户到 HBR 去开启这些数据保护选项。

Alibaba Cloud Lens 云产品可观测平台 产品选型

Alibaba Cloud Lens 云产品可观测平台可提供存储类、网络类、数据库类等云产品的运维辅助分析能力,目前已发布存储类 Lens for OSS,Lens for EBS,Lens for SLS;网络类 Lens for ALB,Lens for CLB,数据库类 Lens for Redis,Lens for PolarDB,Lens for RDS。

image

Alibaba Cloud Lens 云产品可观测平台 客户应用场景示例

Alibaba Cloud Lens云产品可观测平台提供丰富的应用场景,包括实现实时告警异常故障、快速查看资源用量,显示使用行为情况,发现配置隐患和高危操作,AutoPL 云盘突发性能分析,快速概述系统运行状态,发现业务系统性能瓶颈,监控不同类型实例的指标信息,慢日志、审计日志、运行日志的自定义分析等。

image

image

image

Alibaba Cloud Lens 云产品可观测平台 产品系列

Alibaba Cloud Lens for OSS:对象存储OSS云上可观测能力

image

由于对象存储的简单易用,天然的云原生特性,面对海量数据场景具备天然优势,得到了广泛的应用。随着企业将更多核心业务从数据中心迁移到云上,对云上环境进行预算制定、成本核算和成本优化迫在眉睫。

对象存储OSS文能归档做管理、武能云上防攻击。近年来,存放于对象存储OSS中的数据持续快速增长。但是部分客户对于对象存储不熟悉、缺乏有效的使用和管理手段,无法灵活预警和多维度分析数据。为了满足用户的敏捷运维要求,Alibaba Cloud Lens for OSS应运而生,目前的功能模块主要包括资源用量、访问分析、异常检测和安全分析,帮助企业实现更精细的运维辅助分析。

Alibaba Cloud Lens for EBS:块存储 EBS 云上可观测能力

image

块存储 EBS支持各种需要低延迟、基于网络的存储操作的工作负载,其中包括业务关键型应用程序、虚拟机、RAID实施和数据库。当前块存储EBS提供的原生监控仅限制在单实例级别,也就是说只能查看单个云盘的性能监控;侵入式的监控方式虽然能掌控全局云盘状态,但需要付出巨大的学习代价和成本

为了灵活配置监控范围、掌控全局云盘状态,日志服务和块存储EBS联合推出Alibaba Cloud Lens for EBS 功能,帮助监控和管理块存储的云盘、快照和云盘异步复制等资源。

Alibaba Cloud Lens for EBS 针对云盘性能提供了秒级数据监控能力,在电商或票务网站等场景下,可能因访问量的波动而造成云盘流量达到上限,进而出现服务器抖动。使用 Alibaba Cloud Lens for EBS 后,可以获取更全面的存储性能指标,也可以通过日志服务自行采集业务高频关注的存储资源数据,从而高效分析业务波动与资源性能消耗情况,在云盘性能产生异常时及时发现并解决问题。

Alibaba Cloud Lens for SLS:日志服务云上可观测能力

image

日志服务 SLS 是云原生观测与分析平台,为 Log、Metric、Trace 等数据提供大规模、低成本、实时的平台化服务。日志服务一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等功能,全面提升开发、运维、运营、安全等场景的数字化能力。不同用户角色使用 SLS 需要对日志服务进行全面观测。开发人员需求监控和管理日志服务Project、Logstore等资产,提升对日志服务资产的管理效率。IT运维人员更注重后台服务的稳定性、黄金指标、并告警监控进行及时响应。安全审计人员在特定时间内的操作进行安全分析与审计

Alibaba Cloud Lens for SLS对Project实例的详细日志、重要日志以及作业监控日志提供了查询与分析提高了问题定位的效率。提供告警功能对Project服务状态、流量、Quota以及Logtail多维度指标异常感应和响应。提供丰富的可视化报表,包括访问监控、采集监控、操作监控、作业监控和额度监控五大类别报表。全面监控Project指标(访问指标、操作指标)、Logtail采集状态、数据导入以及Schedule SQL运行状态。

Alibaba Cloud Lens for ALB/CLB:负载均衡云上可观测能力

image

随着云原生应用微服务化深入,用户需要面对复杂路由规则配置、支持多种应用层协议、服务访问的安全性以及流量的可观测性等诉求。ALB作为阿里云官方云原生Ingress网关,提供强大的应用层流量处理能力和丰富的高级路由功能,多级分发承载海量请求。

日志服务联合阿里云负载均衡推出的Alibaba Cloud Lens for ALB,不只是拿到基础的可观测数据,而是可以低门槛地将数据打通、关联分析,并获得“洞察”,辅助ALB使用的优化。Alibaba Cloud Lens for ALB 具备以下优势:

  • 操作简单:一站式开通、中心化使用,无需关心日志收集、存储、计算、可视化等问题,将开发、运维人员从日志处理的繁琐耗时中解放出来,将更多的精力集中到业务开发和技术探索上去。
  • 海量数据:负载均衡日志中心支持自定义配置预聚合功能,实时计算聚合指标,计算后的聚合结果可降低几个数量级,查询速度大大提升。
  • 实时查询:阿里云负载均衡结合日志服务强大的大数据计算能力,秒级分析处理实时产生的日志,满足DevOps、监控、告警等场景对日志数据的实时性的要求。
  • 弹性存储:Logstore容量可动态伸缩,支持实例级别开通或关闭访问日志功能,任意设置日志存储周期以及冷热存储。
  • 智能巡检:基于达摩院智能AIOps算法,提供ALB/CLB指标自动巡检功能,有助于更快、更准确的发现并定位问题。
  • 开放平台:支持与三方系统进行对接,包括流计算框架、常见数仓、SDK消费、三方可视化系统等。

Alibaba Cloud Lens for PolarDB 洞悉百TB级云原生数据库

image

关系数据库作为商业应用的核心,承载这无比重要的职责。不仅需要为上层服务提供高性能的事务服务,并且需要保证数据的原子性、一致性、隔离性和持久性。阿里云PolarDB就是这个云原生时代新的解决方案之一,具备高可靠、大容量、高性能的特性。

再好的数据库产品也免不了需要进行日志审计、性能调优、错误监控以满足安全合规、交易提速、故障响应等需求,通常这些需求都可以通过分析数据库的日志得到满足。当前PolarDB提供了以下4类日志:审计日志、性能指标、慢查询日志、错误日志。

然而,PolarDB内置的日志查看能力对于满足上述需求仍然存在这诸多不足。缺乏全局视图:PolarDB资产是分地展示的,缺乏跨地域的全局资产视图。同时PolarDB的日志查看功能是在单个实例下面,如果需要监控的实例比较多那日志监控的开启、查询会比较不便。分析能力较弱:PolarDB控制台提供的日志查询能力比较简单,仅提供预定义几个维度的筛选和排序能力,无法自定义SQL查询,也不能基于自定义查询结果采取行动,如进行告警。存储时间短:例如PolarDB的内置查询界面仅能查看最近1小时的性能指标与慢日志,超时效的日志数据无法查看,不利于运维问题追溯。

Alibaba Cloud Lens for PolarDB 是SLS团队联合PolarDB团队发布的一款PolarDB数据运营应用,其主要功能包括

  • 全局PolarDB实例资产视图:帮助用户一览全部集群资产,方便快捷地配置数据库的审计日志、性能指标、慢日志以及错误日志的监控与分析。
  • 分析能力和场景应用:依托于日志服务(SLS)平台的基础能力,PolarDB Lens中用户可以轻松对日志进行自定义SQL查询、关联查询,同时内置了数据报表以满足客户在安全、性能、监控等场景下的业务需求。
  • 持久的日志存储:PolarDB Lens为接入的全部4种PolarDB数据库的日志提供可自定义的日志存储时长,最长可达3000天,并且结合了日志服务(SLS)平台最新发布的冷存储能力,极大地降低了客户数据长期存储的成本。

Alibaba Cloud Lens for Redis:轻松直观的洞察Redis状态

image

云数据库Redis版(ApsaraDB for Redis)是兼容开源Redis协议标准、提供混合存储的数据库服务,基于双机热备架构及集群架构,可满足高吞吐、低延迟及弹性变配等业务需求。

目前云数据库Redis基于阿里云日志服务SLS,为用户提供日志的查询、在线分析、导出等功能,帮助用户时刻掌握产品安全及性能情况。

当前Redis内置的日志监控是在单个实例下面只能进入实例详情进行审计日志的开通与关闭,如果需要监控的实例比较多那日志监控的开启、查询会比较不便。同时Redis资产是分地域查询与展示,缺乏统一的Redis资产管理与直观的日志数据分析。Redis控制台提供的慢日志与运行日志报表比较简单,仅支持时间范围内数据的查询,不具备用户自定义查询与分析能力,如果用户有查询或者分析需求需要进入到SLS相应project与logstore下查看,操作不便且易出错。同时,Redis内运行日志与慢日志仅提供72小时内存储查询,超时效的日志数据无法查看,不利于运维问题追溯。

Alibaba Cloud Lens for Redis 是 SLS 团队联合Redis团队发布的集中式统一Redis实例资产、帮助用户方便快捷获取数据库的运行日志、慢日志以及审计日志的监控与分析,提升Redis资源管理效率与实例资源运行分析,同时提供长时间(1~365天)日志存储的平台。其中三种日志的功能介绍如下:

  • 审计日志:提供操作审查、安全合规,满足安全规范审计的要求,查询历史热点Key 分析
  • 慢日志:记录执行时间超过指定阈值的请求,帮助用户找到解决性能问题优化请求的线索
  • 运行日志:提供实例运行生命周期状态,以及寻找解决运维问题线索

Alibaba Cloud Lens for RDS:轻松直观的洞察 RDS 状态

image

RDS审计接入数据提供了简单的可视化采集方式,但是以采集目标 project/logstore 为第一视角,且有 region 化限制,对实例维度的采集不友好,project 或实例较多时操作复杂。日志审计服务提供了自动化的采集能力,但是缺失了交互式的采集以及实例粒度的视图。

通过Alibaba Cloud Lens for RDS 实时查看 RDS SQL 审计日志的采集状态,集中管理采集配置,并可基于采集到的日志进行后续的审计、分析、告警等操作。支持集中管理 RDS SQL审计日志的采集状态,自动采集现有或未来新增 RDS 实例的 SQL 审计日志,支持集中管理存储目标库。提供 RDS SQL 审计日志的实时存储、查询与分析,提供丰富的可视化报表,支持报表邮件、钉钉群订阅,支持丰富的内置告警规则,支持灵活配置告警策略,及时精准地发送告警消息。提供RDS 外网访问检测、高频访问IP检测、登录失败次数过多告警、慢SQL检测、危险的SQL执行告警、SQL执行错误数过多告警、大批量数据删除告警、大批量数据修改事件告警、数据库更新峰值监控告警、数据库查询峰值监控告警、更新SQL平均执行时间监控告警、查询SQL平均执行时间监控告警等异常行为检测。

结语

云原生化开始从业内的头部企业逐步下沉到中小企业,从领先企业的尝鲜变为主流企业的必备。Gartner 预测,到 2024 年 30% 的企业会使用可观测技术来优化资源花费、加速问题定位、提升用户体验,特别是对于使用云架构的企业。云产品可观测平台Alibaba Cloud Lens,将帮助企业云原生之路走得更加顺畅。

可扫描以下日志服务媒体、客户群二维码,获取更多产品支持与服务

image

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Alibaba Cloud Linux镜像操作系统详解(全方位解析)
Alibaba Cloud Linux是阿里云推出的Linux发行版,Alibaba Cloud Linux是基于龙蜥社区OpenAnolis龙蜥操作系统Anolis OS。Alibaba Cloud Linux针对云服务器ECS进行了深度优化,CentOS停止维护完全可以使用Alibaba Cloud Linux代替,Alibaba Cloud Linux兼容CentOS/RHEL生态,CentOS/RHEL中的大多数软件无需或仅需少量改造即可在Alibaba Cloud Linux中运行。
66 0
SpringCloudalibaba 与 SpringCloud 区别 | 学习笔记
快速学习 SpringCloudalibaba 与 SpringCloud 区别
32 0
JetBrains 宣布:IntelliJ 平台彻底停用 Log4j 组件,建议切换至 java.util.logging
JetBrains 宣布:IntelliJ 平台彻底停用 Log4j 组件,建议切换至 java.util.logging
18 0
Spring Cloud Alibaba基础教程:Nacos配置的加载规则详解
Spring Cloud Alibaba基础教程:Nacos配置的加载规则详解
75 0
JAVA-Spring—SpringCloud—一.springcloudAlibaba简介
springcloud的一站式解决方案,包含了丰富的组件 组件: 1. 服务注册与发现 2. 服务限流与降级 3. 分布式配置(动态配置) 4. 消息驱动 5. 分布式事务 6. 对象存储 7. 分布式任务调度 8. 短信
147 0
Spring-Cloud-Alibaba-Nacos微服务|注册中心+流量|限流
Spring-Cloud-Alibaba-Nacos微服务|注册中心+流量|限流
1888 0
Spring Cloud Alibaba基础教程:Nacos配置的加载规则详解
上一篇,我们学习了如何在Nacos中创建配置,以及如何使用Spring Cloud Alibaba的Nacos客户端模块来加载配置。在入门例子中,我们只配置了Nacos的地址信息,没有配置任何其他与配置加载相关的其他内容。
3135 0
+关注
孟威
孟威-阿里云存储解决方案架构师
文章
问答
来源圈子
更多
阿里云存储基于飞天盘古2.0分布式存储系统,产品包括对象存储OSS、块存储Block Storage、共享文件存储NAS、表格存储、日志存储与分析、归档存储及混合云存储等,充分满足用户数据存储和迁移上云需求,连续三年跻身全球云存储魔力象限四强。
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
云产品可观测平台Alibaba Cloud Lens发布客户
立即下载
阿里云微服务引擎 MSE 2.0 线上发布
立即下载
微服务引擎 MSE 治理中心重磅发布
立即下载