阿里云日志服务 SLS 全景体验

本文涉及的产品
对象存储 OSS,20GB 3个月
云备份 Cloud Backup,100GB 3个月
阿里云盘企业版 CDE,企业版用户数5人 500GB空间
简介: 阿里云日志服务 SLS 不只是“日志储存”,更是一个一站式智能运维方案、可观测平台。我们从“客户需要的数据如何获取”,发展为“客户的数据如何使用”,再过渡到“如何帮助客户用好数据,产生更大价值”。

前言

2022年1月14日,围绕“SLS 云原生可观测&智能运维”专题,阿里云用户组(AUG)第六期活动在北京成功举办。10+ 北京企业 20多位开发、运维工程师及产品负责人来到现场,畅聊了 SLS 的全景体验。SLS 不只是“日志储存”,更是一个一站式智能运维方案、可观测平台。 SLS 的全新的场景&产品能力和 SLS 全系列功能模块以及全新的控制台体验,为客户提供了新的运维思路和方案。

SLS 客户场景、产品能力演进到新的阶段

随着 SLS 产品能力的不断演进迭代,其品牌升级为用户带来了全新的体验。贯穿 SLS 产品发展的使命是助力客户,创造数据价值。每一次产品能力的升级,都是为了帮助更好的借助数据实现业务价值。

接下来,我们来了解一下 SLS 的发展历史:

日志采集 Hub:从 2012 年开始,SLS 服务于阿里集团内,专注于日志采集分发,支持单租户 PB 级/日 流量,99.9% 的可用性。SLS 解决阿里集团和蚂蚁海量日志的大规模的实时采集和分发问题,同时提供有效的可用性保障。同一时间,开源日志存储检索产品开始推出 ES。

日志存储平台:2015 年,SLS 开始商业化成为日志存储分析平台,成为 EB 级存储规模设计、百亿级日志秒级查询检索。SLS 解决海量数据的长期存储、运营分析、问题定位的能力。

日志、监控数据平台:2019年,SLS 已经发展成为一站式日志与监控数据平台;支持一站式的采集、加工、存储、分析、告警、投递;提供 Log/Metric 存储丰富度;对接数据上下游开源生态。SLS 新增数据加工、时序存储、告警等功能,为客户提供一站式日志、监控平台能力,为场景化应用探索建立基础。同一时间,开源产品如 Prometheus Metric 等项目也在蓬勃发展,OpenTelemetry 在 2019 年实现 Log/Metric/Trace 采集协议统一。

ITOM 领域 Data to Insight 的平台:2021 年,SLS 品牌升级,成为 Data to Operation Insight 的平台,是云原生可观测数据平台,提供 Log/Metric/Trace 统一存储与分析,更便于二次集成的分析能力与生态;为用户提供运维平台工具以及开箱即用的应用。做厚中台能力基础上,完善可观测性布局,通过 Xops 场景化应用,为用户提供即开即用的场景化能力,成为 ITOM 领域的 DatatoInsight 的平台

SLS 不只是“日志存储”

SLS 服务的客户场景、产品能力演进到新阶段,SLS 未来非常重要的发展方向是它不只是“日志查询存储”。我们从“客户需要的数据如何获取”,发展为“客户的数据如何使用”,再过渡到“如何帮助客户用好数据,产生更大价值”。

SLS 布局可观测性/AIOps 平台级能力为场景化 Insight 打基础,面向 ITOM 领域,帮助客户从更多碎片化、低信息的数据,如何更简单地得到 Insight。

从图中右侧的架构图来看,从下至上,主要分为四个层面八个关键字,即采集平台工具应用

  • 首先是多维的数据采集与管道,强大的数据采集与分发基础能力提供一站式采集清洗入湖能力,采集端支持更多数据源,消费投递升级,支持更多目标源。
  • 第二,是统一的可观测数据平台存储,做深可观测数据法处理与分析的底座能力,提供更多数据源、存储分层(包括热存、智能冷存)、支撑更多场景的计算能力。
  • 第三,是智能运化的 Ops 平台工具,构建 AIOps 智能巡检及告警中心的运维横向能力,支撑各场景化应用。
  • 最后,上层是 xOps 领域场景化应用,发挥可观测数据融合优势,面向客户业务应用,快速提供开箱即用场景化能力,提供场景 Insight,包括ITOps 开发运维 应用、CloudLens 云产品可观测应用、SecOps 安全运维应用 与 FinOps 成本分析应用。

基于以上架构,我们将不断探索生态构建/应用生态、定开交付生态,服务开源生态与伙伴。

SLS 全景体验

目前阿里云日志服务 SLS 的功能组合主要分为以下几个模块:数据采集与管道、可观测数据平台、Ops 平台工具

云产品可观测 CloudLens、开发运维 ITOps、安全运维 SecOps、成本分析 FinOps。

数据采集与管道:满足数据实时采集清洗分发需求,或替代开源 Flink + Kafka 自建方案。

  • 数据采集:接入 Log、Metric、Trace、开放告警等数据源
  • 数据聚合:导入如 Kafka、ES、OSS、ODPS 等数据源
  • 数据加工:对于数据的加工及管理
  • 数据投递:对于数据的投递及管理
  • 消费组:消费组下的消费者共同消费一个 LogStore 中的日志数据

可观测数据平台:支持 Log、Metric、Trace 等统一采集存储与关联分析,或替代 ELK 自建。

  • 可观测数据统一存储:包括热存储和冷存储。
  • 查询分析:查询与统计分析、自动以查询分析,包括基础 SQL、增强版 SQL、上下文、聚类等
  • 仪表盘

Ops 平台工具:构建统一的监控告警管理、异常自动检测。

  • 智能巡检:智能分析任务管理、异常巡检、文本分析、智能预测、根因分析
  • 告警中心:一站式告警监控、降噪、事务管理、通知分派运维平台

CloudLens 云产品可观测:打造 CloudLens 品牌,为客户提供统一云产品可观测场景化能力,帮助客户能够低门槛地实现对“云产品”的可观测,并且从成本、性能、安全、数据保护、稳定性、访问分析六个纬度,提供对云产品的精细化智能运维管理能力。

  • CloudLens for OSS:
  • CloudLens for EBS:
  • CloudLens for RDS:
  • CloudLens for SLB:

ITOps 开发运维:构建开箱即用的场景化的业务可观测运维能力。

  • K8S 事件中心:K8S 事件管理中心
  • 全栈监控:主机/容器、自建数据库、中间件一站式的监控
  • Trace 服务:链路追踪服务,应用性能分析
  • 移动运维监控:移动端应用的可用性、埋点、性能等监控
  • RUM :前端监控的错误分析、应用性能分析、用户行为等能力
  • 微服务监控:微服务应用的监控

SecOps 安全运维:日志审计需求,可跨账号/跨区域统一管理或对接客户三方 SIEM 系统。

  • 日志审计:多账号、多地域统一日志审计
  • SIEM 接入

FinOps 成本分析:提供云上成本分析能力,并结合日志等业务成本监测分析。

  • 成本管家:账单数据分析,洞察云产品成本结构和费用趋势

SLS 控制台和产品也的呈现仍然是 Logstore 资源维度,为了更好的让客户认知 SLS 产品定位以及推出的新能力与场景,SLS 的控制台将重新改版。

SLS 的控制台边栏布局将以全新的框架结构重现给大家,以场景化和功能模块的维度,向客户提供全新的交互体验。以上是关于 SLS 全景体验的分享。感谢大家!

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
1月前
|
SQL 存储 人工智能
阿里云日志服务的傻瓜式极易预测模型
预测服务有助于提前规划,减少资源消耗和成本。阿里云日志服务的AI预测服务简化了数学建模,仅需SQL操作即可预测未来指标,具备高准确性,并能处理远期预测。此外,通过ScheduledSQL功能,可将预测任务自动化,定时执行并保存结果。
68 3
|
3月前
|
存储 消息中间件 人工智能
AI大模型独角兽 MiniMax 基于阿里云数据库 SelectDB 版内核 Apache Doris 升级日志系统,PB 数据秒级查询响应
早期 MiniMax 基于 Grafana Loki 构建了日志系统,在资源消耗、写入性能及系统稳定性上都面临巨大的挑战。为此 MiniMax 开始寻找全新的日志系统方案,并基于阿里云数据库 SelectDB 版内核 Apache Doris 升级了日志系统,新系统已接入 MiniMax 内部所有业务线日志数据,数据规模为 PB 级, 整体可用性达到 99.9% 以上,10 亿级日志数据的检索速度可实现秒级响应。
AI大模型独角兽 MiniMax 基于阿里云数据库 SelectDB 版内核 Apache Doris 升级日志系统,PB 数据秒级查询响应
|
1月前
|
监控 网络协议 CDN
阿里云国际监控查询流量、用量查询流量与日志统计流量有差异?
阿里云国际监控查询流量、用量查询流量与日志统计流量有差异?
|
2月前
|
存储 监控 数据可视化
SLS 虽然不是直接使用 OSS 作为底层存储,但它凭借自身独特的存储架构和功能,为用户提供了一种专业、高效的日志服务解决方案。
【9月更文挑战第2天】SLS 虽然不是直接使用 OSS 作为底层存储,但它凭借自身独特的存储架构和功能,为用户提供了一种专业、高效的日志服务解决方案。
158 9
|
2月前
|
SQL 人工智能 运维
在阿里云日志服务轻松落地您的AI模型服务——让您的数据更容易产生洞见和实现价值
您有大量的数据,数据的存储和管理消耗您大量的成本,您知道这些数据隐藏着巨大的价值,但是您总觉得还没有把数据的价值变现出来,对吗?来吧,我们用一系列的案例帮您轻松落地AI模型服务,实现数据价值的变现......
203 3
|
3月前
|
敏捷开发 前端开发 测试技术
阿里云云效产品使用合集之如何将云效构建执行过程中产生的日志通过邮件发送
云效作为一款全面覆盖研发全生命周期管理的云端效能平台,致力于帮助企业实现高效协同、敏捷研发和持续交付。本合集收集整理了用户在使用云效过程中遇到的常见问题,问题涉及项目创建与管理、需求规划与迭代、代码托管与版本控制、自动化测试、持续集成与发布等方面。
|
3月前
|
敏捷开发 测试技术 持续交付
阿里云云效产品使用合集之appStack部署时没有日志是什么原因
云效作为一款全面覆盖研发全生命周期管理的云端效能平台,致力于帮助企业实现高效协同、敏捷研发和持续交付。本合集收集整理了用户在使用云效过程中遇到的常见问题,问题涉及项目创建与管理、需求规划与迭代、代码托管与版本控制、自动化测试、持续集成与发布等方面。
|
18天前
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
151 30
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
|
1月前
|
XML JSON Java
Logback 与 log4j2 性能对比:谁才是日志框架的性能王者?
【10月更文挑战第5天】在Java开发中,日志框架是不可或缺的工具,它们帮助我们记录系统运行时的信息、警告和错误,对于开发人员来说至关重要。在众多日志框架中,Logback和log4j2以其卓越的性能和丰富的功能脱颖而出,成为开发者们的首选。本文将深入探讨Logback与log4j2在性能方面的对比,通过详细的分析和实例,帮助大家理解两者之间的性能差异,以便在实际项目中做出更明智的选择。
242 3
|
1月前
|
存储 缓存 关系型数据库
MySQL事务日志-Redo Log工作原理分析
事务的隔离性和原子性分别通过锁和事务日志实现,而持久性则依赖于事务日志中的`Redo Log`。在MySQL中,`Redo Log`确保已提交事务的数据能持久保存,即使系统崩溃也能通过重做日志恢复数据。其工作原理是记录数据在内存中的更改,待事务提交时写入磁盘。此外,`Redo Log`采用简单的物理日志格式和高效的顺序IO,确保快速提交。通过不同的落盘策略,可在性能和安全性之间做出权衡。
1642 14

相关产品

  • 日志服务
  • 下一篇
    无影云桌面