阿里云日志服务 SLS 全景体验

简介: 阿里云日志服务 SLS 不只是“日志储存”,更是一个一站式智能运维方案、可观测平台。我们从“客户需要的数据如何获取”,发展为“客户的数据如何使用”,再过渡到“如何帮助客户用好数据,产生更大价值”。

前言

2022年1月14日,围绕“SLS 云原生可观测&智能运维”专题,阿里云用户组(AUG)第六期活动在北京成功举办。10+ 北京企业 20多位开发、运维工程师及产品负责人来到现场,畅聊了 SLS 的全景体验。SLS 不只是“日志储存”,更是一个一站式智能运维方案、可观测平台。 SLS 的全新的场景&产品能力和 SLS 全系列功能模块以及全新的控制台体验,为客户提供了新的运维思路和方案。

SLS 客户场景、产品能力演进到新的阶段

随着 SLS 产品能力的不断演进迭代,其品牌升级为用户带来了全新的体验。贯穿 SLS 产品发展的使命是助力客户,创造数据价值。每一次产品能力的升级,都是为了帮助更好的借助数据实现业务价值。

接下来,我们来了解一下 SLS 的发展历史:

日志采集 Hub:从 2012 年开始,SLS 服务于阿里集团内,专注于日志采集分发,支持单租户 PB 级/日 流量,99.9% 的可用性。SLS 解决阿里集团和蚂蚁海量日志的大规模的实时采集和分发问题,同时提供有效的可用性保障。同一时间,开源日志存储检索产品开始推出 ES。

日志存储平台:2015 年,SLS 开始商业化成为日志存储分析平台,成为 EB 级存储规模设计、百亿级日志秒级查询检索。SLS 解决海量数据的长期存储、运营分析、问题定位的能力。

日志、监控数据平台:2019年,SLS 已经发展成为一站式日志与监控数据平台;支持一站式的采集、加工、存储、分析、告警、投递;提供 Log/Metric 存储丰富度;对接数据上下游开源生态。SLS 新增数据加工、时序存储、告警等功能,为客户提供一站式日志、监控平台能力,为场景化应用探索建立基础。同一时间,开源产品如 Prometheus Metric 等项目也在蓬勃发展,OpenTelemetry 在 2019 年实现 Log/Metric/Trace 采集协议统一。

ITOM 领域 Data to Insight 的平台:2021 年,SLS 品牌升级,成为 Data to Operation Insight 的平台,是云原生可观测数据平台,提供 Log/Metric/Trace 统一存储与分析,更便于二次集成的分析能力与生态;为用户提供运维平台工具以及开箱即用的应用。做厚中台能力基础上,完善可观测性布局,通过 Xops 场景化应用,为用户提供即开即用的场景化能力,成为 ITOM 领域的 DatatoInsight 的平台

SLS 不只是“日志存储”

SLS 服务的客户场景、产品能力演进到新阶段,SLS 未来非常重要的发展方向是它不只是“日志查询存储”。我们从“客户需要的数据如何获取”,发展为“客户的数据如何使用”,再过渡到“如何帮助客户用好数据,产生更大价值”。

SLS 布局可观测性/AIOps 平台级能力为场景化 Insight 打基础,面向 ITOM 领域,帮助客户从更多碎片化、低信息的数据,如何更简单地得到 Insight。

从图中右侧的架构图来看,从下至上,主要分为四个层面八个关键字,即采集平台工具应用

  • 首先是多维的数据采集与管道,强大的数据采集与分发基础能力提供一站式采集清洗入湖能力,采集端支持更多数据源,消费投递升级,支持更多目标源。
  • 第二,是统一的可观测数据平台存储,做深可观测数据法处理与分析的底座能力,提供更多数据源、存储分层(包括热存、智能冷存)、支撑更多场景的计算能力。
  • 第三,是智能运化的 Ops 平台工具,构建 AIOps 智能巡检及告警中心的运维横向能力,支撑各场景化应用。
  • 最后,上层是 xOps 领域场景化应用,发挥可观测数据融合优势,面向客户业务应用,快速提供开箱即用场景化能力,提供场景 Insight,包括ITOps 开发运维 应用、CloudLens 云产品可观测应用、SecOps 安全运维应用 与 FinOps 成本分析应用。

基于以上架构,我们将不断探索生态构建/应用生态、定开交付生态,服务开源生态与伙伴。

SLS 全景体验

目前阿里云日志服务 SLS 的功能组合主要分为以下几个模块:数据采集与管道、可观测数据平台、Ops 平台工具

云产品可观测 CloudLens、开发运维 ITOps、安全运维 SecOps、成本分析 FinOps。

数据采集与管道:满足数据实时采集清洗分发需求,或替代开源 Flink + Kafka 自建方案。

  • 数据采集:接入 Log、Metric、Trace、开放告警等数据源
  • 数据聚合:导入如 Kafka、ES、OSS、ODPS 等数据源
  • 数据加工:对于数据的加工及管理
  • 数据投递:对于数据的投递及管理
  • 消费组:消费组下的消费者共同消费一个 LogStore 中的日志数据

可观测数据平台:支持 Log、Metric、Trace 等统一采集存储与关联分析,或替代 ELK 自建。

  • 可观测数据统一存储:包括热存储和冷存储。
  • 查询分析:查询与统计分析、自动以查询分析,包括基础 SQL、增强版 SQL、上下文、聚类等
  • 仪表盘

Ops 平台工具:构建统一的监控告警管理、异常自动检测。

  • 智能巡检:智能分析任务管理、异常巡检、文本分析、智能预测、根因分析
  • 告警中心:一站式告警监控、降噪、事务管理、通知分派运维平台

CloudLens 云产品可观测:打造 CloudLens 品牌,为客户提供统一云产品可观测场景化能力,帮助客户能够低门槛地实现对“云产品”的可观测,并且从成本、性能、安全、数据保护、稳定性、访问分析六个纬度,提供对云产品的精细化智能运维管理能力。

  • CloudLens for OSS:
  • CloudLens for EBS:
  • CloudLens for RDS:
  • CloudLens for SLB:

ITOps 开发运维:构建开箱即用的场景化的业务可观测运维能力。

  • K8S 事件中心:K8S 事件管理中心
  • 全栈监控:主机/容器、自建数据库、中间件一站式的监控
  • Trace 服务:链路追踪服务,应用性能分析
  • 移动运维监控:移动端应用的可用性、埋点、性能等监控
  • RUM :前端监控的错误分析、应用性能分析、用户行为等能力
  • 微服务监控:微服务应用的监控

SecOps 安全运维:日志审计需求,可跨账号/跨区域统一管理或对接客户三方 SIEM 系统。

  • 日志审计:多账号、多地域统一日志审计
  • SIEM 接入

FinOps 成本分析:提供云上成本分析能力,并结合日志等业务成本监测分析。

  • 成本管家:账单数据分析,洞察云产品成本结构和费用趋势

SLS 控制台和产品也的呈现仍然是 Logstore 资源维度,为了更好的让客户认知 SLS 产品定位以及推出的新能力与场景,SLS 的控制台将重新改版。

SLS 的控制台边栏布局将以全新的框架结构重现给大家,以场景化和功能模块的维度,向客户提供全新的交互体验。以上是关于 SLS 全景体验的分享。感谢大家!

相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
目录
相关文章
|
存储 监控 安全
网络安全视角:从地域到账号的阿里云日志审计实践
日志审计的必要性在于其能够帮助企业和组织落实法律要求,打破信息孤岛和应对安全威胁。选择 SLS 下日志审计应用,一方面是选择国家网络安全专用认证的日志分析产品,另一方面可以快速帮助大型公司统一管理多组地域、多个账号的日志数据。除了在日志服务中存储、查看和分析日志外,还可通过报表分析和告警配置,主动发现潜在的安全威胁,增强云上资产安全。
1860 77
|
监控 容灾 算法
阿里云 SLS 多云日志接入最佳实践:链路、成本与高可用性优化
本文探讨了如何高效、经济且可靠地将海外应用与基础设施日志统一采集至阿里云日志服务(SLS),解决全球化业务扩展中的关键挑战。重点介绍了高性能日志采集Agent(iLogtail/LoongCollector)在海外场景的应用,推荐使用LoongCollector以获得更优的稳定性和网络容错能力。同时分析了多种网络接入方案,包括公网直连、全球加速优化、阿里云内网及专线/CEN/VPN接入等,并提供了成本优化策略和多目标发送配置指导,帮助企业构建稳定、低成本、高可用的全球日志系统。
1531 55
|
自然语言处理 监控 安全
阿里云发布可观测MCP!支持自然语言查询和分析多模态日志
阿里云可观测官方发布了Observable MCP Server,提供了一系列访问阿里云可观测各产品的工具能力,包含阿里云日志服务SLS、阿里云应用实时监控服务ARMS等,支持用户通过自然语言形式查询
2121 0
阿里云发布可观测MCP!支持自然语言查询和分析多模态日志
|
存储 消息中间件 缓存
MiniMax GenAI 可观测性分析 :基于阿里云 SelectDB 构建 PB 级别日志系统
基于阿里云SelectDB,MiniMax构建了覆盖国内及海外业务的日志可观测中台,总体数据规模超过数PB,日均新增日志写入量达数百TB。系统在P95分位查询场景下的响应时间小于3秒,峰值时刻实现了超过10GB/s的读写吞吐。通过存算分离、高压缩比算法和单副本热缓存等技术手段,MiniMax在优化性能的同时显著降低了建设成本,计算资源用量降低40%,热数据存储用量降低50%,为未来业务的高速发展和技术演进奠定了坚实基础。
804 1
MiniMax GenAI 可观测性分析 :基于阿里云 SelectDB 构建 PB 级别日志系统
|
域名解析 应用服务中间件 网络安全
阿里云个人博客外网访问中断应急指南:从安全组到日志的七步排查法
1. 检查安全组配置:确认阿里云安全组已开放HTTP/HTTPS端口,添加规则允许目标端口(如80/443),授权对象设为`0.0.0.0/0`。 2. 本地防火墙设置:确保服务器防火墙未阻止外部流量,Windows启用入站规则,Linux检查iptables或临时关闭防火墙测试。 3. 验证Web服务状态:检查Apache/Nginx/IIS是否运行并监听所有IP,使用命令行工具确认监听状态。 4. 测试网络连通性:使用外部工具和内网工具测试服务器端口是否开放,排除本地可访问但外网不可的问题。 5. 排查DNS解析:确认域名A记录指向正确公网IP,使用`ping/nslookup`验证解析正
754 2
|
存储 监控 安全
网络安全视角:从地域到账号的阿里云日志审计实践
网络安全视角:从地域到账号的阿里云日志审计实践
505 0
|
SQL 分布式计算 Serverless
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
463 0
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
5246 32
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
|
监控 安全 Apache
什么是Apache日志?为什么Apache日志分析很重要?
Apache是全球广泛使用的Web服务器软件,支持超过30%的活跃网站。它通过接收和处理HTTP请求,与后端服务器通信,返回响应并记录日志,确保网页请求的快速准确处理。Apache日志分为访问日志和错误日志,对提升用户体验、保障安全及优化性能至关重要。EventLog Analyzer等工具可有效管理和分析这些日志,增强Web服务的安全性和可靠性。
693 9

热门文章

最新文章

相关产品

  • 日志服务