阿里云日志服务 SLS 全景体验

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 阿里云日志服务 SLS 不只是“日志储存”,更是一个一站式智能运维方案、可观测平台。我们从“客户需要的数据如何获取”,发展为“客户的数据如何使用”,再过渡到“如何帮助客户用好数据,产生更大价值”。

前言

2022年1月14日,围绕“SLS 云原生可观测&智能运维”专题,阿里云用户组(AUG)第六期活动在北京成功举办。10+ 北京企业 20多位开发、运维工程师及产品负责人来到现场,畅聊了 SLS 的全景体验。SLS 不只是“日志储存”,更是一个一站式智能运维方案、可观测平台。 SLS 的全新的场景&产品能力和 SLS 全系列功能模块以及全新的控制台体验,为客户提供了新的运维思路和方案。

SLS 客户场景、产品能力演进到新的阶段

随着 SLS 产品能力的不断演进迭代,其品牌升级为用户带来了全新的体验。贯穿 SLS 产品发展的使命是助力客户,创造数据价值。每一次产品能力的升级,都是为了帮助更好的借助数据实现业务价值。

接下来,我们来了解一下 SLS 的发展历史:

日志采集 Hub:从 2012 年开始,SLS 服务于阿里集团内,专注于日志采集分发,支持单租户 PB 级/日 流量,99.9% 的可用性。SLS 解决阿里集团和蚂蚁海量日志的大规模的实时采集和分发问题,同时提供有效的可用性保障。同一时间,开源日志存储检索产品开始推出 ES。

日志存储平台:2015 年,SLS 开始商业化成为日志存储分析平台,成为 EB 级存储规模设计、百亿级日志秒级查询检索。SLS 解决海量数据的长期存储、运营分析、问题定位的能力。

日志、监控数据平台:2019年,SLS 已经发展成为一站式日志与监控数据平台;支持一站式的采集、加工、存储、分析、告警、投递;提供 Log/Metric 存储丰富度;对接数据上下游开源生态。SLS 新增数据加工、时序存储、告警等功能,为客户提供一站式日志、监控平台能力,为场景化应用探索建立基础。同一时间,开源产品如 Prometheus Metric 等项目也在蓬勃发展,OpenTelemetry 在 2019 年实现 Log/Metric/Trace 采集协议统一。

ITOM 领域 Data to Insight 的平台:2021 年,SLS 品牌升级,成为 Data to Operation Insight 的平台,是云原生可观测数据平台,提供 Log/Metric/Trace 统一存储与分析,更便于二次集成的分析能力与生态;为用户提供运维平台工具以及开箱即用的应用。做厚中台能力基础上,完善可观测性布局,通过 Xops 场景化应用,为用户提供即开即用的场景化能力,成为 ITOM 领域的 DatatoInsight 的平台

SLS 不只是“日志存储”

SLS 服务的客户场景、产品能力演进到新阶段,SLS 未来非常重要的发展方向是它不只是“日志查询存储”。我们从“客户需要的数据如何获取”,发展为“客户的数据如何使用”,再过渡到“如何帮助客户用好数据,产生更大价值”。

SLS 布局可观测性/AIOps 平台级能力为场景化 Insight 打基础,面向 ITOM 领域,帮助客户从更多碎片化、低信息的数据,如何更简单地得到 Insight。

从图中右侧的架构图来看,从下至上,主要分为四个层面八个关键字,即采集平台工具应用

  • 首先是多维的数据采集与管道,强大的数据采集与分发基础能力提供一站式采集清洗入湖能力,采集端支持更多数据源,消费投递升级,支持更多目标源。
  • 第二,是统一的可观测数据平台存储,做深可观测数据法处理与分析的底座能力,提供更多数据源、存储分层(包括热存、智能冷存)、支撑更多场景的计算能力。
  • 第三,是智能运化的 Ops 平台工具,构建 AIOps 智能巡检及告警中心的运维横向能力,支撑各场景化应用。
  • 最后,上层是 xOps 领域场景化应用,发挥可观测数据融合优势,面向客户业务应用,快速提供开箱即用场景化能力,提供场景 Insight,包括ITOps 开发运维 应用、CloudLens 云产品可观测应用、SecOps 安全运维应用 与 FinOps 成本分析应用。

基于以上架构,我们将不断探索生态构建/应用生态、定开交付生态,服务开源生态与伙伴。

SLS 全景体验

目前阿里云日志服务 SLS 的功能组合主要分为以下几个模块:数据采集与管道、可观测数据平台、Ops 平台工具

云产品可观测 CloudLens、开发运维 ITOps、安全运维 SecOps、成本分析 FinOps。

数据采集与管道:满足数据实时采集清洗分发需求,或替代开源 Flink + Kafka 自建方案。

  • 数据采集:接入 Log、Metric、Trace、开放告警等数据源
  • 数据聚合:导入如 Kafka、ES、OSS、ODPS 等数据源
  • 数据加工:对于数据的加工及管理
  • 数据投递:对于数据的投递及管理
  • 消费组:消费组下的消费者共同消费一个 LogStore 中的日志数据

可观测数据平台:支持 Log、Metric、Trace 等统一采集存储与关联分析,或替代 ELK 自建。

  • 可观测数据统一存储:包括热存储和冷存储。
  • 查询分析:查询与统计分析、自动以查询分析,包括基础 SQL、增强版 SQL、上下文、聚类等
  • 仪表盘

Ops 平台工具:构建统一的监控告警管理、异常自动检测。

  • 智能巡检:智能分析任务管理、异常巡检、文本分析、智能预测、根因分析
  • 告警中心:一站式告警监控、降噪、事务管理、通知分派运维平台

CloudLens 云产品可观测:打造 CloudLens 品牌,为客户提供统一云产品可观测场景化能力,帮助客户能够低门槛地实现对“云产品”的可观测,并且从成本、性能、安全、数据保护、稳定性、访问分析六个纬度,提供对云产品的精细化智能运维管理能力。

  • CloudLens for OSS:
  • CloudLens for EBS:
  • CloudLens for RDS:
  • CloudLens for SLB:

ITOps 开发运维:构建开箱即用的场景化的业务可观测运维能力。

  • K8S 事件中心:K8S 事件管理中心
  • 全栈监控:主机/容器、自建数据库、中间件一站式的监控
  • Trace 服务:链路追踪服务,应用性能分析
  • 移动运维监控:移动端应用的可用性、埋点、性能等监控
  • RUM :前端监控的错误分析、应用性能分析、用户行为等能力
  • 微服务监控:微服务应用的监控

SecOps 安全运维:日志审计需求,可跨账号/跨区域统一管理或对接客户三方 SIEM 系统。

  • 日志审计:多账号、多地域统一日志审计
  • SIEM 接入

FinOps 成本分析:提供云上成本分析能力,并结合日志等业务成本监测分析。

  • 成本管家:账单数据分析,洞察云产品成本结构和费用趋势

SLS 控制台和产品也的呈现仍然是 Logstore 资源维度,为了更好的让客户认知 SLS 产品定位以及推出的新能力与场景,SLS 的控制台将重新改版。

SLS 的控制台边栏布局将以全新的框架结构重现给大家,以场景化和功能模块的维度,向客户提供全新的交互体验。以上是关于 SLS 全景体验的分享。感谢大家!

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
7月前
|
存储 消息中间件 监控
阿里云sls日志服务简介和使用流程
阿里云SLS(Simple Log Service)是一种高度可扩展的、低成本的日志托管服务,它提供了全面的日志采集、存储、分析和呈现功能。阿里云SLS是全球首个在公共云上提供日志服务的企业,它具有高可靠性、高稳定性和高安全性等特点,可满足不同企业的日志需求。
|
1月前
|
Web App开发 监控 应用服务中间件
全新架构!日志服务 SLS 自研免登录方案发布
全新架构!日志服务 SLS 自研免登录方案发布
87440 7
|
2月前
|
SQL 数据采集 JSON
弱结构化日志 Flink SQL 怎么写?SLS SPL 来帮忙
弱结构化日志 Flink SQL 怎么写?SLS SPL 来帮忙
125172 136
|
3月前
|
存储 监控 Serverless
在处理阿里云函数计算3.0版本的函数时,如果遇到报错但没有日志信息的情况
在处理阿里云函数计算3.0版本的函数时,如果遇到报错但没有日志信息的情况【1月更文挑战第23天】【1月更文挑战第114篇】
63 5
|
3月前
|
存储 监控 数据挖掘
阿里云函数计算的日志可以通过两种方式进行处理
【1月更文挑战第16天】【1月更文挑战第76篇】阿里云函数计算(Function Compute)的日志可以通过两种方式进行处理
58 1
|
3月前
|
数据采集 运维 监控
日志服务SLS:一站式解决日志管理难题
日志服务SLS:一站式解决日志管理难题 在数字化时代,日志管理成为企业面临的挑战之一。为了解决这个问题,阿里云日志服务SLS(Log Service)应运而生,提供了一站式的大规模、低成本、实时的日志管理平台。
162 1
|
4月前
|
存储 人工智能 监控
日志服务 SLS 深度解析:拥抱云原生和 AI,基于 SLS 的可观测分析创新
阿里云日志服务 SLS 全面拥抱云原生和 AI,近一年持续进行技术创新,此次云栖大会上发布了在稳定可靠、高性能、开放易用、AI 加持、低成本等五个方面的全面升级。
102009 4
|
4月前
|
存储 分布式计算 DataWorks
DataWorks如何同步SLS日志到odps上?
DataWorks如何同步SLS日志到odps上?
74 0
|
4月前
|
存储 数据采集 运维
构建高效日志管理系统:阿里云产品实践与技术解析
日志管理对于系统运维和故障排查至关重要。本文将详细介绍如何利用阿里云相关产品搭建一个高效、可扩展的日志管理系统。我们将使用Log Service、Elasticsearch、DataHub等阿里云产品,通过代码示例和详细说明,带你一步步完成整个流程。
131 0
|
5月前
|
存储 监控 安全
奇安信基于阿里云数据库 SelectDB 版内核 Apache Doris 升级日志安全分析系统,查询平均提速 700%
Apache Doris 助力奇安信建设全新日志存储分析平台,提升系统安全性与快速响应能力!
奇安信基于阿里云数据库 SelectDB 版内核 Apache Doris 升级日志安全分析系统,查询平均提速 700%

相关产品

  • 日志服务