带你读《企业级云原生白皮书项目实战》——4.4.2产品功能

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 带你读《企业级云原生白皮书项目实战》——4.4.2产品功能

4.4.2产品功能


日志服务目前已支持50多种数据接入方案,其采集对象包括服务器与应用相关日志、物联网设备日志、阿里云产品日志、移动端数据以及多种开源产品中的数据。采集的日志可以通过HTTP、HTTPS、Syslog、Kafka、Prometheus等标准协议存入日志服务。针对海量的数据,日志服务支持千亿级数据实时采集和查询与分析能力,支持多种机器学习语法与函数,可对数据进行变点检测、预测与异常检测、时序聚类、异常对比以及根因分析等处理。为满足不同业务上的数据需要,日志服务还提供了独特的数据加工能力,可用于海量数据的规整、富化、流转、脱敏和过滤。为应对海量数据存储以及查询带来的压力,日志服务支持设置Scheduled SQL作业,对时间窗口为 , 的数据持续连续进行数据特征抽取以及数据量压缩,在保留有效数据特征的基础上极大的降低数据存储投入的成本。

image.png

图: 日志服务Scheduled SQL作业

日志服务除了日志采集以及查询的基本功能外还提供其独特的消费与投递功能。存储在日志服务的数据支持通过多语言多版本SDK、API进行实时消费。同时日志服务可以对接开源以及云上流式计算产品(Storm、Flink、Spark)进行数据实时分析、数据特征抽取以及数据转存等功能。为满足用户对不同数据存储的需要,日志服务支持将数据投递到阿里云OSS、MaxCompute、AnalyticDB MySQL以及 TSDB。而在日志数据的展示方面,日志服务有其独特的可视化解决方案,用户可以快速构建对应的监控服务。为了满足多样的监控系统需要,日志服务支持将数据投递到Grafana、云监控等监控类产品,用户可以基于对应的监控产品构建适合自己的监控预警系统。

日志服务的另一大功能就是告警。日志服务提供了多样的告警渠道,支持通过短信、语音、邮件、钉钉、企业微信、飞书、Slack、通用Webhook等渠道告警,可以满足大多数日常业务预警的渠道需要。同时日志服务的查询与分析功能提供了十多种机器学习算法,开发人员和IT运维人员可结合业务实际需要来使用日志服务的机器学习服务,对海量的日志以及时序数据进行智能监控,包括智能聚类、异常检测、异常

预测等。通过结合机器学习流式统计或图算法等进行业务异常检测,当发现异常数据后可以将结果可以直接应用在告警监控任务中。日志服务多样的告警行动策略也使得告警的灵活性以及告警的准确性上更加贴合业务的需要。日志服务支持配置多样的告警行动策略,可以对告警进行指纹去重、分组合并、合并集合去重、告警抑制、告警静默等,解决了同一问题重复告警等问题。

日志服务的数据存储方面支持冷热分层存储,以及时序数据存储两种存储形式。通过冷热分层存储可以合理降低非热点数据的存储成本。时序数据存储也为对接Grafana等监控提供了可靠的支持。

image.png

图: 日志服务SLS下游生态

相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
相关文章
|
7月前
|
人工智能 关系型数据库 OLAP
光云科技 X AnalyticDB:构建 AI 时代下的云原生企业级数仓
AnalyticDB承载了光云海量数据的实时在线分析,为各个业务线的商家提供了丝滑的数据服务,实时物化视图、租户资源隔离、冷热分离等企业级特性,很好的解决了SaaS场景下的业务痛点,也平衡了成本。同时也基于通义+AnalyticDB研发了企业级智能客服、智能导购等行业解决方案,借助大模型和云计算为商家赋能。
591 17
|
10月前
|
Cloud Native 关系型数据库 分布式数据库
让PolarDB更了解您--PolarDB云原生数据库核心功能体验馆
让PolarDB更了解您——PolarDB云原生数据库核心功能体验馆,由阿里云数据库产品事业部负责人宋震分享。内容涵盖PolarDB技术布局、开源进展及体验馆三大部分。技术布局包括云计算加速数据库演进、数据处理需求带来的变革、软硬协同优化等;开源部分介绍了兼容MySQL和PostgreSQL的两款产品;体验馆则通过实际操作让用户直观感受Serverless、无感切换、SQL2Map等功能。
372 7
|
消息中间件 编解码 Docker
【Docker项目实战】Docker部署RabbitMQ消息中间件
【10月更文挑战第8天】Docker部署RabbitMQ消息中间件
596 2
【Docker项目实战】Docker部署RabbitMQ消息中间件
|
存储 Cloud Native 块存储
EBS深度解析:云原生时代企业级块存储
企业上云的策略,从 Cloud-Hosting 转向 Serverless 架构。块存储作为企业应用上云的核心存储产品,将通过 Serverless 化来加速新的计算范式全面落地。在本话题中,我们将会介绍阿里云块存储企业级能力的创新,深入解析背后的技术细节,分享对未来趋势的判断。
914 3
|
消息中间件 存储 Apache
探索 RocketMQ:企业级消息中间件的选择与应用
RocketMQ 是一个高性能、高可靠、可扩展的分布式消息中间件,它是由阿里巴巴开发并贡献给 Apache 软件基金会的一个开源项目。RocketMQ 主要用于处理大规模、高吞吐量、低延迟的消息传递,它是一个轻量级的、功能强大的消息队列系统,广泛应用于金融、电商、日志系统、数据分析等领域。
1135 0
探索 RocketMQ:企业级消息中间件的选择与应用
|
消息中间件 中间件 数据库
NServiceBus:打造企业级服务总线的利器——深度解析这一面向消息中间件如何革新分布式应用开发与提升系统可靠性
【10月更文挑战第9天】NServiceBus 是一个面向消息的中间件,专为构建分布式应用程序设计,特别适用于企业级服务总线(ESB)。它通过消息队列实现服务间的解耦,提高系统的可扩展性和容错性。在 .NET 生态中,NServiceBus 提供了强大的功能,支持多种传输方式如 RabbitMQ 和 Azure Service Bus。通过异步消息传递模式,各组件可以独立运作,即使某部分出现故障也不会影响整体系统。 示例代码展示了如何使用 NServiceBus 发送和接收消息,简化了系统的设计和维护。
251 3
|
存储 监控 Serverless
函数计算发布功能问题之用户在使用主流函数计算产品的日志服务时可能会遇到使用成本的问题如何解决
函数计算发布功能问题之用户在使用主流函数计算产品的日志服务时可能会遇到使用成本的问题如何解决
163 6
|
监控 Cloud Native 容灾
核心系统转型问题之API网关在云原生分布式核心系统中的功能如何解决
核心系统转型问题之API网关在云原生分布式核心系统中的功能如何解决
|
JavaScript 前端开发 Serverless
函数计算产品使用问题之打印日志时间与实际时间相差8小时,是什么原因
函数计算产品作为一种事件驱动的全托管计算服务,让用户能够专注于业务逻辑的编写,而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景,从简单的数据处理到复杂的业务逻辑,实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点,帮助你更好地理解和应用这一服务。
|
JavaScript Serverless Linux
函数计算产品使用问题之遇到Node.js环境下的请求日志没有正常输出时,该如何排查
函数计算产品作为一种事件驱动的全托管计算服务,让用户能够专注于业务逻辑的编写,而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景,从简单的数据处理到复杂的业务逻辑,实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点,帮助你更好地理解和应用这一服务。

相关产品

  • 日志服务