前言
2022年1月14日,围绕“SLS 云原生可观测&智能运维”专题,阿里云用户组(AUG)第六期活动在北京成功举办。10+ 北京企业 20多位开发、运维工程师及产品负责人来到现场,畅聊了 SLS 的全景体验。SLS 不只是“日志储存”,更是一个一站式智能运维方案、可观测平台。 SLS 的全新的场景&产品能力和 SLS 全系列功能模块以及全新的控制台体验,为客户提供了新的运维思路和方案。
SLS 客户场景、产品能力演进到新的阶段
随着 SLS 产品能力的不断演进迭代,其品牌升级为用户带来了全新的体验。贯穿 SLS 产品发展的使命是助力客户,创造数据价值。每一次产品能力的升级,都是为了帮助更好的借助数据实现业务价值。
接下来,我们来了解一下 SLS 的发展历史:
日志采集 Hub:从 2012 年开始,SLS 服务于阿里集团内,专注于日志采集分发,支持单租户 PB 级/日 流量,99.9% 的可用性。SLS 解决阿里集团和蚂蚁海量日志的大规模的实时采集和分发问题,同时提供有效的可用性保障。同一时间,开源日志存储检索产品开始推出 ES。
日志存储平台:2015 年,SLS 开始商业化成为日志存储分析平台,成为 EB 级存储规模设计、百亿级日志秒级查询检索。SLS 解决海量数据的长期存储、运营分析、问题定位的能力。
日志、监控数据平台:2019年,SLS 已经发展成为一站式日志与监控数据平台;支持一站式的采集、加工、存储、分析、告警、投递;提供 Log/Metric 存储丰富度;对接数据上下游开源生态。SLS 新增数据加工、时序存储、告警等功能,为客户提供一站式日志、监控平台能力,为场景化应用探索建立基础。同一时间,开源产品如 Prometheus Metric 等项目也在蓬勃发展,OpenTelemetry 在 2019 年实现 Log/Metric/Trace 采集协议统一。
ITOM 领域 Data to Insight 的平台:2021 年,SLS 品牌升级,成为 Data to Operation Insight 的平台,是云原生可观测数据平台,提供 Log/Metric/Trace 统一存储与分析,更便于二次集成的分析能力与生态;为用户提供运维平台工具以及开箱即用的应用。做厚中台能力基础上,完善可观测性布局,通过 Xops 场景化应用,为用户提供即开即用的场景化能力,成为 ITOM 领域的 DatatoInsight 的平台
SLS 不只是“日志存储”
SLS 服务的客户场景、产品能力演进到新阶段,SLS 未来非常重要的发展方向是它不只是“日志查询存储”。我们从“客户需要的数据如何获取”,发展为“客户的数据如何使用”,再过渡到“如何帮助客户用好数据,产生更大价值”。
SLS 布局可观测性/AIOps 平台级能力为场景化 Insight 打基础,面向 ITOM 领域,帮助客户从更多碎片化、低信息的数据,如何更简单地得到 Insight。
从图中右侧的架构图来看,从下至上,主要分为四个层面八个关键字,即采集、平台、工具、应用。
- 首先是多维的数据采集与管道,强大的数据采集与分发基础能力提供一站式采集清洗入湖能力,采集端支持更多数据源,消费投递升级,支持更多目标源。
- 第二,是统一的可观测数据平台存储,做深可观测数据法处理与分析的底座能力,提供更多数据源、存储分层(包括热存、智能冷存)、支撑更多场景的计算能力。
- 第三,是智能运化的 Ops 平台工具,构建 AIOps 智能巡检及告警中心的运维横向能力,支撑各场景化应用。
- 最后,上层是 xOps 领域场景化应用,发挥可观测数据融合优势,面向客户业务应用,快速提供开箱即用场景化能力,提供场景 Insight,包括ITOps 开发运维 应用、CloudLens 云产品可观测应用、SecOps 安全运维应用 与 FinOps 成本分析应用。
基于以上架构,我们将不断探索生态构建/应用生态、定开交付生态,服务开源生态与伙伴。
SLS 全景体验
目前阿里云日志服务 SLS 的功能组合主要分为以下几个模块:数据采集与管道、可观测数据平台、Ops 平台工具
云产品可观测 CloudLens、开发运维 ITOps、安全运维 SecOps、成本分析 FinOps。
数据采集与管道:满足数据实时采集清洗分发需求,或替代开源 Flink + Kafka 自建方案。
- 数据采集:接入 Log、Metric、Trace、开放告警等数据源
- 数据聚合:导入如 Kafka、ES、OSS、ODPS 等数据源
- 数据加工:对于数据的加工及管理
- 数据投递:对于数据的投递及管理
- 消费组:消费组下的消费者共同消费一个 LogStore 中的日志数据
可观测数据平台:支持 Log、Metric、Trace 等统一采集存储与关联分析,或替代 ELK 自建。
- 可观测数据统一存储:包括热存储和冷存储。
- 查询分析:查询与统计分析、自动以查询分析,包括基础 SQL、增强版 SQL、上下文、聚类等
- 仪表盘
Ops 平台工具:构建统一的监控告警管理、异常自动检测。
- 智能巡检:智能分析任务管理、异常巡检、文本分析、智能预测、根因分析
- 告警中心:一站式告警监控、降噪、事务管理、通知分派运维平台
CloudLens 云产品可观测:打造 CloudLens 品牌,为客户提供统一云产品可观测场景化能力,帮助客户能够低门槛地实现对“云产品”的可观测,并且从成本、性能、安全、数据保护、稳定性、访问分析六个纬度,提供对云产品的精细化智能运维管理能力。
- CloudLens for OSS:
- CloudLens for EBS:
- CloudLens for RDS:
- CloudLens for SLB:
ITOps 开发运维:构建开箱即用的场景化的业务可观测运维能力。
- K8S 事件中心:K8S 事件管理中心
- 全栈监控:主机/容器、自建数据库、中间件一站式的监控
- Trace 服务:链路追踪服务,应用性能分析
- 移动运维监控:移动端应用的可用性、埋点、性能等监控
- RUM :前端监控的错误分析、应用性能分析、用户行为等能力
- 微服务监控:微服务应用的监控
SecOps 安全运维:日志审计需求,可跨账号/跨区域统一管理或对接客户三方 SIEM 系统。
- 日志审计:多账号、多地域统一日志审计
- SIEM 接入
FinOps 成本分析:提供云上成本分析能力,并结合日志等业务成本监测分析。
- 成本管家:账单数据分析,洞察云产品成本结构和费用趋势
SLS 控制台和产品也的呈现仍然是 Logstore 资源维度,为了更好的让客户认知 SLS 产品定位以及推出的新能力与场景,SLS 的控制台将重新改版。
SLS 的控制台边栏布局将以全新的框架结构重现给大家,以场景化和功能模块的维度,向客户提供全新的交互体验。以上是关于 SLS 全景体验的分享。感谢大家!