引言
随着云原生时代的到来，云上资源愈发复杂，架构更加多样，如果缺乏有效的云管理能力，将不可避免造成巨大的资源浪费和成本支出。
Alibaba Cloud Lens 作为云产品可观测平台，可以从成本、性能、安全、数据保护、稳定性、访问分析六个纬度，提供对存储类、网络类、数据库类等云产品的精细化运维辅助分析能力。让企业在保障业务敏捷性的前提下，低门槛实现对云产品的可观测。
IT运维为什么需要可观测性
当前，IT系统从单体式架构逐渐向分布式、微服务、云原生转变，传统的监控体系面临着巨大的挑战。可观测性的出现，正是为了解决云原生技术栈中，用户对微服务、容器化部署模式的不可感知、无法全局洞察的问题。
监控系统能够监控服务的性能、可用性、尽早发现系统问题。采用 Metrics 指标定义 Golden Metric，发现问题，通知对应负责任处理。
而可观测性是关注如何定位问题、预防问题、掌控组件运行状况。云产品构建可观测性能力，面向 Trace / Log/ Metrics 建立一站式可观测数据洞察平台，从而提供场景化洞察能力，确保找到根因防患于未然是系统具备可被观测的能力之后，我们在上面提供的工程能力。
相比传统的告警、监控，可观测性能够以更加“白盒”的方式看透整个复杂的系统，帮助我们更好地观察系统的运行状况，快速定位和解决问题。就像发动机而言，告警只是告诉你发动机是否有问题，而一些包含转速、温度、压力的仪表盘能够帮我们大致确定是哪个部分可能有问题，而真正定位细节问题还需要观察每个部件的传感器数据才行。由于企业数字化转型逐步深入，使用云产品类型也在不断增加，“云产品”可观测对于构建全栈的可观测方案尤为重要。
Alibaba Cloud Lens 云产品可观测平台 需求背景
政策驱动及技术趋势下，带来云产品的可观测的大量需求，云产品可观测平台的技术背景如下：
- 企业上云，通过云产品的弹性、能力、快速创新力，快速构建企业业务的创新迭代。云产品的使用，在企业业务系统架构中发挥着巨大的作用。随着云上企业使用云产品类型的不断增加，“云产品”可观测对于构建全栈的可观测方案尤为重要。
- 更多企业，会使用“可观测技术”来精细化运维管理和优化。Gartner 预测，到 2024 年 30% 的企业会使用可观测技术来优化资源花费、加速问题定位、提升用户体验，特别是对于使用云架构的企业。
- 2021 年可观测与智能运维国标编写已启动，会对通过“可观测”技术，去更好的使用云，起到促进作用。其中，都提出“被观测”的“对象”-云平台的云产品，应具备提供完善的可观测数据能力。
云产品的可观测需求
- 提升云产品体验、易管理的竞争力与粘性
- 提升云产品自服务能力效率
- 帮客户低门槛获得云产品观测洞察，用好云产品
Alibaba Cloud Lens 云产品可观测平台 痛点
企业对云产品的合理使用与运维管理面临诸多挑战，但缺乏有效手段，云产品使用的痛点如下：
Flexera 调研表明，79% 的企业在如何使用云上，普遍缺乏经验的挑战。
- 数据孤岛：数据分散、多个系统切换，缺乏统一的视角
- 难以关联分析：云产品的日志/指标/配置等数据，缺乏统一关联分析的手段
- 实时和灵活度不够：难实时预警与大规模秒级分析、灵活分析（粒度、纬度、算子）
- 门槛高、缺乏最佳实践：客户对于云产品并不熟悉，难以通过数据得到有效的云产品的性能、使用不当、异常、稳定、安全配置不当等问题
Alibaba Cloud Lens 云产品可观测平台 挑战
企业在加快上云趋势下，需要合理的使用和管理“云资源”，云产品可观测建设面临严峻的挑战：
- 用量管理（76%）：资源使用量监测、费用是否可控，是否出现使用不合理或异常使用
- 性能监控（55%）：云产品性能指标是否异常，及时预警，避免影响业务。
- 安全与合规（77%）：如何保障访问安全、数据安全
- 访问治理分析（71%）：如何帮助企业分析业务运营及产品访问情况。客户急需优化云产品使用方式，不正确的使用导致额外的成本和风险问题。
- 稳定性：是否及时发现异常故障及可用性问题。如何通过日志分析、运维监控提升排查效率
Alibaba Cloud Lens 云产品可观测平台 品牌定位
Alibaba Cloud Lens 基于 SLS 构建统一云产品可观测能力，为客户提供阿里云云产品的用量分析、性能监控、安全分析、数据保护、异常检测、访问分析等服务。从成本、性能、安全、数据保护、稳定性、访问分析六个纬度， 提供对云产品的运维辅助分析能力，帮助客户能够低门槛实现对云产品的可观测。
Alibaba Cloud Lens 云产品可观测平台 价值主张
帮助客户快速构建云产品的可观测性能力、用好云：
- 统一云产品运维数据采集：计量、指标、访问日志、审计日志，跨账号、跨区域、自动数据采集
- 更全面的云产品可观测：用量分析、访问分析、性能分析、异常检测、安全分析、数据保护
- 可灵活订阅的数据平台：支持消费组/API/Grafana 等多种数据订阅方式
Alibaba Cloud Lens 云产品可观测平台 原理
- Alibaba Cloud Lens 利用 SLS 存储分析底座，对接各种日志、监控指标、云产品 Trace 数据、Trail、关键配置计量、关键事件、多账号信息等数据源。
- 用户可以通过 SLS 控制台 Lens 统一入口和云产品控制台嵌入 的双入口使用该产品。
- 您可以通过它了解组织范围内的存储/安全/网络/流量/数据库类的云产品的 使用情况和活动。您可以创建一个统一的云产品访问分析、用量分析、异常监测、性能监控、安全分析、数据保护的场景化洞察大盘。
- 通过日志/指标/计量等数据关联分析，实现加工查询分析、可视化、监控预警订阅、智能巡检和建议引导。
- 此外，提供数据接入管理模块，包括接入管理、存储目标库管理、自动化采集配置；通用功能模块
Alibaba Cloud Lens 云产品可观测平台 功能介绍
Alibaba Cloud Lens 云产品可观测平台为客户提供云产品（主流产品）的用量分析、性能监控、安全分析、数据保护、异常检测、访问分析等服务，从成本、性能、安全、数据保护、稳定性、访问分析六个纬度，提供对云产品的运维辅助分析能力。场景化洞察框架 - 六大维度说明如下：
- 用量分析：对于资源使用量，多纬度查看统计，并可设置用量预警；检测不合理或异常使用模式。
- 访问分析：访问情况分析，辅助产品使用、业务运营分析。
- 异常检测：错误率、可用性等问题及时发现，提升业务整体稳定性。
1）产品工单、产品使用出现异常、不合理的费用等没有检测到的场景经验沉淀，比如 OSS 外网流量盗刷，低频或归档异常频繁取回或提前删除客户误选存储类型等；
2）用户自定义设置的告警规则，并且内置异常规则库。
- 安全分析：权限、加密等情况的查看，及恶意访问检测；避免使用不当的数据安全问题。
- 性能监控：性能指标监控，及时预警。注：不同产品的性能指标的数据获取能力不同。
- 数据保护：查看数据保护开启情况，获取数据保护建议；引导到数据保护功能或对应云产品。
1）指的是存储功能：容灾、快照、版本管理的状态监测/查看
2）数据保护和 HBR 关系：LENS 检测是否开启数据保护，引导客户到 HBR 去开启这些数据保护选项。
Alibaba Cloud Lens 云产品可观测平台 产品选型
Alibaba Cloud Lens 云产品可观测平台可提供存储类、网络类、数据库类等云产品的运维辅助分析能力，目前已发布存储类 LensforOSS，LensforEBS，LensforSLS；网络类 LensforALB，LensforCLB，数据库类 LensforRedis，LensforPolarDB，LensforRDS。
Alibaba Cloud Lens 云产品可观测平台 客户应用场景示例
AlibabaCloudLens云产品可观测平台提供丰富的应用场景，包括实现实时告警异常故障、快速查看资源用量，显示使用行为情况，发现配置隐患和高危操作，AutoPL云盘突发性能分析，快速概述系统运行状态，发现业务系统性能瓶颈，监控不同类型实例的指标信息，慢日志、审计日志、运行日志的自定义分析等。
Alibaba Cloud Lens 云产品可观测平台 产品系列
AlibabaCloudLensforOSS：对象存储OSS的云上可观测能力
由于对象存储的简单易用，天然的云原生特性，面对海量数据场景具备天然优势，得到了广泛的应用。随着企业将更多核心业务从数据中心迁移到云上，对云上环境进行预算制定、成本核算和成本优化迫在眉睫。
对象存储OSS文能归档做管理、武能云上防攻击。近年来，存放于对象存储OSS中的数据持续快速增长。但是部分客户对于对象存储不熟悉、缺乏有效的使用和管理手段，无法灵活预警和多维度分析数据。为了满足用户的敏捷运维要求，Alibaba Cloud Lens for OSS应运而生，目前的功能模块主要包括资源用量、访问分析、异常检测和安全分析，帮助企业实现更精细的运维辅助分析。
Alibaba Cloud LensforEBS：块存储 EBS 的云上可观测能力
块存储 EBS支持各种需要低延迟、基于网络的存储操作的工作负载，其中包括业务关键型应用程序、虚拟机、RAID实施和数据库。当前块存储EBS提供的原生监控仅限制在单实例级别，也就是说只能查看单个云盘的性能监控；侵入式的监控方式虽然能掌控全局云盘状态，但需要付出巨大的学习代价和成本。
为了灵活配置监控范围、掌控全局云盘状态，日志服务和块存储EBS联合推出AlibabaCloudLens for EBS 功能，帮助监控和管理块存储的云盘、快照和云盘异步复制等资源。
AlibabaCloudLens for EBS 针对云盘性能提供了秒级数据监控能力，在电商或票务网站等场景下，可能因访问量的波动而造成云盘流量达到上限，进而出现服务器抖动。使用 Alibaba Cloud Lens for EBS 后，可以获取更全面的存储性能指标，也可以通过日志服务自行采集业务高频关注的存储资源数据，从而高效分析业务波动与资源性能消耗情况，在云盘性能产生异常时及时发现并解决问题。
AlibabaCloudLensforSLS：日志服务的云上可观测能力
日志服务 SLS 是云原生观测与分析平台，为 Log、Metric、Trace 等数据提供大规模、低成本、实时的平台化服务。日志服务一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等功能，全面提升开发、运维、运营、安全等场景的数字化能力。不同用户角色使用 SLS需要对日志服务进行全面观测。开发人员需求监控和管理日志服务Project、Logstore等资产，提升对日志服务资产的管理效率。IT运维人员更注重后台服务的稳定性、黄金指标、并告警监控进行及时响应。安全审计人员在特定时间内的操作进行安全分析与审计。
Alibaba Cloud Lens for SLS对Project实例的详细日志、重要日志以及作业监控日志提供了查询与分析，提高了问题定位的效率。提供告警功能对Project服务状态、流量、Quota以及Logtail多维度指标异常感应和响应。提供丰富的可视化报表，包括访问监控、采集监控、操作监控、作业监控和额度监控五大类别报表。全面监控Project指标（访问指标、操作指标）、Logtail采集状态、数据导入以及Schedule SQL运行状态。
AlibabaCloudLensforALB/CLB：负载均衡的云上可观测能力
随着云原生应用微服务化深入，用户需要面对复杂路由规则配置、支持多种应用层协议、服务访问的安全性以及流量的可观测性等诉求。ALB作为阿里云官方云原生Ingress网关，提供强大的应用层流量处理能力和丰富的高级路由功能，多级分发承载海量请求。
日志服务联合阿里云负载均衡推出的Alibaba Cloud Lens for ALB，不只是拿到基础的可观测数据，而是可以低门槛地将数据打通、关联分析，并获得“洞察”，辅助ALB使用的优化。AlibabaCloudLensforALB具备以下优势：
- 操作简单：一站式开通、中心化使用，无需关心日志收集、存储、计算、可视化等问题，将开发、运维人员从日志处理的繁琐耗时中解放出来，将更多的精力集中到业务开发和技术探索上去。
- 海量数据：负载均衡日志中心支持自定义配置预聚合功能，实时计算聚合指标，计算后的聚合结果可降低几个数量级，查询速度大大提升。
- 实时查询：阿里云负载均衡结合日志服务强大的大数据计算能力，秒级分析处理实时产生的日志，满足DevOps、监控、告警等场景对日志数据的实时性的要求。
- 弹性存储：Logstore容量可动态伸缩，支持实例级别开通或关闭访问日志功能，任意设置日志存储周期以及冷热存储。
- 智能巡检：基于达摩院智能AIOps算法，提供ALB/CLB指标自动巡检功能，有助于更快、更准确的发现并定位问题。
- 开放平台：支持与三方系统进行对接，包括流计算框架、常见数仓、SDK消费、三方可视化系统等。
AlibabaCloudLensforPolarDB：洞悉百TB级云原生数据库
关系数据库作为商业应用的核心，承载这无比重要的职责。不仅需要为上层服务提供高性能的事务服务，并且需要保证数据的原子性、一致性、隔离性和持久性。阿里云PolarDB就是这个云原生时代新的解决方案之一，具备高可靠、大容量、高性能的特性。
再好的数据库产品也免不了需要进行日志审计、性能调优、错误监控以满足安全合规、交易提速、故障响应等需求，通常这些需求都可以通过分析数据库的日志得到满足。当前PolarDB提供了以下4类日志：审计日志、性能指标、慢查询日志、错误日志。
然而，PolarDB内置的日志查看能力对于满足上述需求仍然存在这诸多不足。缺乏全局视图：PolarDB资产是分地展示的，缺乏跨地域的全局资产视图。同时PolarDB的日志查看功能是在单个实例下面，如果需要监控的实例比较多那日志监控的开启、查询会比较不便。分析能力较弱：PolarDB控制台提供的日志查询能力比较简单，仅提供预定义几个维度的筛选和排序能力，无法自定义SQL查询，也不能基于自定义查询结果采取行动，如进行告警。存储时间短：例如PolarDB的内置查询界面仅能查看最近1小时的性能指标与慢日志，超时效的日志数据无法查看，不利于运维问题追溯。
AlibabaCloudLensforPolarDB 是SLS团队联合PolarDB团队发布的一款PolarDB数据运营应用，其主要功能包括：
- 全局PolarDB实例资产视图：帮助用户一览全部集群资产，方便快捷地配置数据库的审计日志、性能指标、慢日志以及错误日志的监控与分析。
- 分析能力和场景应用：依托于日志服务(SLS)平台的基础能力，PolarDB Lens中用户可以轻松对日志进行自定义SQL查询、关联查询，同时内置了数据报表以满足客户在安全、性能、监控等场景下的业务需求。
- 持久的日志存储：PolarDB Lens为接入的全部4种PolarDB数据库的日志提供可自定义的日志存储时长，最长可达3000天，并且结合了日志服务(SLS)平台最新发布的冷存储能力，极大地降低了客户数据长期存储的成本。
AlibabaCloudLensfor Redis：轻松直观的洞察Redis状态
云数据库Redis版（ApsaraDB for Redis）是兼容开源Redis协议标准、提供混合存储的数据库服务，基于双机热备架构及集群架构，可满足高吞吐、低延迟及弹性变配等业务需求。
目前云数据库Redis基于阿里云日志服务SLS，为用户提供日志的查询、在线分析、导出等功能，帮助用户时刻掌握产品安全及性能情况。
当前Redis内置的日志监控是在单个实例下面，只能进入实例详情进行审计日志的开通与关闭，如果需要监控的实例比较多那日志监控的开启、查询会比较不便。同时Redis资产是分地域查询与展示，缺乏统一的Redis资产管理与直观的日志数据分析。Redis控制台提供的慢日志与运行日志报表比较简单，仅支持时间范围内数据的查询，不具备用户自定义查询与分析能力，如果用户有查询或者分析需求需要进入到SLS相应project与logstore下查看，操作不便且易出错。同时，Redis内运行日志与慢日志仅提供72小时内存储查询，超时效的日志数据无法查看，不利于运维问题追溯。
AlibabaCloudLensfor Redis 是SLS 团队联合Redis团队发布的集中式统一Redis实例资产、帮助用户方便快捷获取数据库的运行日志、慢日志以及审计日志的监控与分析，提升Redis资源管理效率与实例资源运行分析，同时提供长时间（1~365天）日志存储的平台。其中三种日志的功能介绍如下：
- 审计日志：提供操作审查、安全合规，满足安全规范审计的要求，查询历史热点Key 分析
- 慢日志：记录执行时间超过指定阈值的请求，帮助用户找到解决性能问题和优化请求的线索
- 运行日志：提供实例运行生命周期状态，以及寻找解决运维问题线索
AlibabaCloudLensfor RDS：轻松直观的洞察 RDS 状态
RDS审计接入数据提供了简单的可视化采集方式，但是以采集目标 project/logstore 为第一视角，且有 region 化限制，对实例维度的采集不友好，project 或实例较多时操作复杂。日志审计服务提供了自动化的采集能力，但是缺失了交互式的采集以及实例粒度的视图。
通过Alibaba CloudLens for RDS 实时查看 RDS SQL 审计日志的采集状态，集中管理采集配置，并可基于采集到的日志进行后续的审计、分析、告警等操作。支持集中管理 RDS SQL审计日志的采集状态，自动采集现有或未来新增 RDS 实例的 SQL 审计日志，支持集中管理存储目标库。提供 RDS SQL 审计日志的实时存储、查询与分析，提供丰富的可视化报表，支持报表邮件、钉钉群订阅，支持丰富的内置告警规则，支持灵活配置告警策略，及时精准地发送告警消息。提供RDS 外网访问检测、高频访问IP检测、登录失败次数过多告警、慢SQL检测、危险的SQL执行告警、SQL执行错误数过多告警、大批量数据删除告警、大批量数据修改事件告警、数据库更新峰值监控告警、数据库查询峰值监控告警、更新SQL平均执行时间监控告警、查询SQL平均执行时间监控告警等异常行为检测。
结语
云原生化开始从业内的头部企业逐步下沉到中小企业，从领先企业的尝鲜变为主流企业的必备。Gartner 预测，到 2024 年 30% 的企业会使用可观测技术来优化资源花费、加速问题定位、提升用户体验，特别是对于使用云架构的企业。云产品可观测平台Alibaba Cloud Lens，将帮助企业云原生之路走得更加顺畅。
可扫描以下日志服务媒体、客户群二维码，获取更多产品支持与服务
