阿里云日志服务 SLS 全景体验

本文涉及的产品
对象存储 OSS,20GB 3个月
日志服务 SLS,月写入数据量 50GB 1个月
对象存储 OSS,恶意文件检测 1000次 1年
简介: 阿里云日志服务 SLS 不只是“日志储存”,更是一个一站式智能运维方案、可观测平台。我们从“客户需要的数据如何获取”,发展为“客户的数据如何使用”,再过渡到“如何帮助客户用好数据,产生更大价值”。

前言

2022年1月14日,围绕“SLS 云原生可观测&智能运维”专题,阿里云用户组(AUG)第六期活动在北京成功举办。10+ 北京企业 20多位开发、运维工程师及产品负责人来到现场,畅聊了 SLS 的全景体验。SLS 不只是“日志储存”,更是一个一站式智能运维方案、可观测平台。 SLS 的全新的场景&产品能力和 SLS 全系列功能模块以及全新的控制台体验,为客户提供了新的运维思路和方案。

SLS 客户场景、产品能力演进到新的阶段

随着 SLS 产品能力的不断演进迭代,其品牌升级为用户带来了全新的体验。贯穿 SLS 产品发展的使命是助力客户,创造数据价值。每一次产品能力的升级,都是为了帮助更好的借助数据实现业务价值。

接下来,我们来了解一下 SLS 的发展历史:

日志采集 Hub:从 2012 年开始,SLS 服务于阿里集团内,专注于日志采集分发,支持单租户 PB 级/日 流量,99.9% 的可用性。SLS 解决阿里集团和蚂蚁海量日志的大规模的实时采集和分发问题,同时提供有效的可用性保障。同一时间,开源日志存储检索产品开始推出 ES。

日志存储平台:2015 年,SLS 开始商业化成为日志存储分析平台,成为 EB 级存储规模设计、百亿级日志秒级查询检索。SLS 解决海量数据的长期存储、运营分析、问题定位的能力。

日志、监控数据平台:2019年,SLS 已经发展成为一站式日志与监控数据平台;支持一站式的采集、加工、存储、分析、告警、投递;提供 Log/Metric 存储丰富度;对接数据上下游开源生态。SLS 新增数据加工、时序存储、告警等功能,为客户提供一站式日志、监控平台能力,为场景化应用探索建立基础。同一时间,开源产品如 Prometheus Metric 等项目也在蓬勃发展,OpenTelemetry 在 2019 年实现 Log/Metric/Trace 采集协议统一。

ITOM 领域 Data to Insight 的平台:2021 年,SLS 品牌升级,成为 Data to Operation Insight 的平台,是云原生可观测数据平台,提供 Log/Metric/Trace 统一存储与分析,更便于二次集成的分析能力与生态;为用户提供运维平台工具以及开箱即用的应用。做厚中台能力基础上,完善可观测性布局,通过 Xops 场景化应用,为用户提供即开即用的场景化能力,成为 ITOM 领域的 DatatoInsight 的平台

SLS 不只是“日志存储”

SLS 服务的客户场景、产品能力演进到新阶段,SLS 未来非常重要的发展方向是它不只是“日志查询存储”。我们从“客户需要的数据如何获取”,发展为“客户的数据如何使用”,再过渡到“如何帮助客户用好数据,产生更大价值”。

SLS 布局可观测性/AIOps 平台级能力为场景化 Insight 打基础,面向 ITOM 领域,帮助客户从更多碎片化、低信息的数据,如何更简单地得到 Insight。

从图中右侧的架构图来看,从下至上,主要分为四个层面八个关键字,即采集平台工具应用

  • 首先是多维的数据采集与管道,强大的数据采集与分发基础能力提供一站式采集清洗入湖能力,采集端支持更多数据源,消费投递升级,支持更多目标源。
  • 第二,是统一的可观测数据平台存储,做深可观测数据法处理与分析的底座能力,提供更多数据源、存储分层(包括热存、智能冷存)、支撑更多场景的计算能力。
  • 第三,是智能运化的 Ops 平台工具,构建 AIOps 智能巡检及告警中心的运维横向能力,支撑各场景化应用。
  • 最后,上层是 xOps 领域场景化应用,发挥可观测数据融合优势,面向客户业务应用,快速提供开箱即用场景化能力,提供场景 Insight,包括ITOps 开发运维 应用、CloudLens 云产品可观测应用、SecOps 安全运维应用 与 FinOps 成本分析应用。

基于以上架构,我们将不断探索生态构建/应用生态、定开交付生态,服务开源生态与伙伴。

SLS 全景体验

目前阿里云日志服务 SLS 的功能组合主要分为以下几个模块:数据采集与管道、可观测数据平台、Ops 平台工具

云产品可观测 CloudLens、开发运维 ITOps、安全运维 SecOps、成本分析 FinOps。

数据采集与管道:满足数据实时采集清洗分发需求,或替代开源 Flink + Kafka 自建方案。

  • 数据采集:接入 Log、Metric、Trace、开放告警等数据源
  • 数据聚合:导入如 Kafka、ES、OSS、ODPS 等数据源
  • 数据加工:对于数据的加工及管理
  • 数据投递:对于数据的投递及管理
  • 消费组:消费组下的消费者共同消费一个 LogStore 中的日志数据

可观测数据平台:支持 Log、Metric、Trace 等统一采集存储与关联分析,或替代 ELK 自建。

  • 可观测数据统一存储:包括热存储和冷存储。
  • 查询分析:查询与统计分析、自动以查询分析,包括基础 SQL、增强版 SQL、上下文、聚类等
  • 仪表盘

Ops 平台工具:构建统一的监控告警管理、异常自动检测。

  • 智能巡检:智能分析任务管理、异常巡检、文本分析、智能预测、根因分析
  • 告警中心:一站式告警监控、降噪、事务管理、通知分派运维平台

CloudLens 云产品可观测:打造 CloudLens 品牌,为客户提供统一云产品可观测场景化能力,帮助客户能够低门槛地实现对“云产品”的可观测,并且从成本、性能、安全、数据保护、稳定性、访问分析六个纬度,提供对云产品的精细化智能运维管理能力。

  • CloudLens for OSS:
  • CloudLens for EBS:
  • CloudLens for RDS:
  • CloudLens for SLB:

ITOps 开发运维:构建开箱即用的场景化的业务可观测运维能力。

  • K8S 事件中心:K8S 事件管理中心
  • 全栈监控:主机/容器、自建数据库、中间件一站式的监控
  • Trace 服务:链路追踪服务,应用性能分析
  • 移动运维监控:移动端应用的可用性、埋点、性能等监控
  • RUM :前端监控的错误分析、应用性能分析、用户行为等能力
  • 微服务监控:微服务应用的监控

SecOps 安全运维:日志审计需求,可跨账号/跨区域统一管理或对接客户三方 SIEM 系统。

  • 日志审计:多账号、多地域统一日志审计
  • SIEM 接入

FinOps 成本分析:提供云上成本分析能力,并结合日志等业务成本监测分析。

  • 成本管家:账单数据分析,洞察云产品成本结构和费用趋势

SLS 控制台和产品也的呈现仍然是 Logstore 资源维度,为了更好的让客户认知 SLS 产品定位以及推出的新能力与场景,SLS 的控制台将重新改版。

SLS 的控制台边栏布局将以全新的框架结构重现给大家,以场景化和功能模块的维度,向客户提供全新的交互体验。以上是关于 SLS 全景体验的分享。感谢大家!

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
2月前
|
SQL 存储 JSON
更快更强,SLS 推出高性能 SPL 日志查询模式
从海量的日志数据中,按照各种灵活的条件进行即时查询搜索,是可观测场景下的基本需求。本文介绍了 SLS 新推出的高性能 SPL 日志查询模式,支持 Unix 风格级联管道式语法,以及各种丰富的 SQL 处理函数。同时通过计算下推、向量化计算等优化,使得 SPL 查询可以在数秒内处理亿级数据,并支持 SPL 过滤结果分布图、随机翻页等特性。
11583 99
|
2月前
|
存储 消息中间件 人工智能
AI大模型独角兽 MiniMax 基于阿里云数据库 SelectDB 版内核 Apache Doris 升级日志系统,PB 数据秒级查询响应
早期 MiniMax 基于 Grafana Loki 构建了日志系统,在资源消耗、写入性能及系统稳定性上都面临巨大的挑战。为此 MiniMax 开始寻找全新的日志系统方案,并基于阿里云数据库 SelectDB 版内核 Apache Doris 升级了日志系统,新系统已接入 MiniMax 内部所有业务线日志数据,数据规模为 PB 级, 整体可用性达到 99.9% 以上,10 亿级日志数据的检索速度可实现秒级响应。
AI大模型独角兽 MiniMax 基于阿里云数据库 SelectDB 版内核 Apache Doris 升级日志系统,PB 数据秒级查询响应
|
1月前
|
存储 监控 数据可视化
SLS 虽然不是直接使用 OSS 作为底层存储,但它凭借自身独特的存储架构和功能,为用户提供了一种专业、高效的日志服务解决方案。
【9月更文挑战第2天】SLS 虽然不是直接使用 OSS 作为底层存储,但它凭借自身独特的存储架构和功能,为用户提供了一种专业、高效的日志服务解决方案。
63 9
|
28天前
|
SQL 人工智能 运维
在阿里云日志服务轻松落地您的AI模型服务——让您的数据更容易产生洞见和实现价值
您有大量的数据,数据的存储和管理消耗您大量的成本,您知道这些数据隐藏着巨大的价值,但是您总觉得还没有把数据的价值变现出来,对吗?来吧,我们用一系列的案例帮您轻松落地AI模型服务,实现数据价值的变现......
128 3
|
3月前
|
监控 数据管理 关系型数据库
数据管理DMS使用问题之是否支持将操作日志导出至阿里云日志服务(SLS)
阿里云数据管理DMS提供了全面的数据管理、数据库运维、数据安全、数据迁移与同步等功能,助力企业高效、安全地进行数据库管理和运维工作。以下是DMS产品使用合集的详细介绍。
|
2月前
|
敏捷开发 前端开发 测试技术
阿里云云效产品使用合集之如何将云效构建执行过程中产生的日志通过邮件发送
云效作为一款全面覆盖研发全生命周期管理的云端效能平台,致力于帮助企业实现高效协同、敏捷研发和持续交付。本合集收集整理了用户在使用云效过程中遇到的常见问题,问题涉及项目创建与管理、需求规划与迭代、代码托管与版本控制、自动化测试、持续集成与发布等方面。
|
2月前
|
敏捷开发 测试技术 持续交付
阿里云云效产品使用合集之appStack部署时没有日志是什么原因
云效作为一款全面覆盖研发全生命周期管理的云端效能平台,致力于帮助企业实现高效协同、敏捷研发和持续交付。本合集收集整理了用户在使用云效过程中遇到的常见问题,问题涉及项目创建与管理、需求规划与迭代、代码托管与版本控制、自动化测试、持续集成与发布等方面。
|
2月前
|
存储 Kubernetes Java
阿里泛日志设计与实践问题之在写多查少的降本场景下,通过SLS Scan方案降低成本,如何实现
阿里泛日志设计与实践问题之在写多查少的降本场景下,通过SLS Scan方案降低成本,如何实现
|
2月前
|
弹性计算 监控 索引
阿里泛日志设计与实践问题之SLS Scan服务的稳定性和可用性如何保证
阿里泛日志设计与实践问题之SLS Scan服务的稳定性和可用性如何保证
|
2月前
|
存储 SQL JSON
阿里泛日志设计与实践问题之SLS Scan的语法该如何定义
阿里泛日志设计与实践问题之SLS Scan的语法该如何定义

热门文章

最新文章

相关产品

  • 日志服务
  • 下一篇
    无影云桌面