带你读《企业级云原生白皮书项目实战》——4.4.2产品功能

简介: 带你读《企业级云原生白皮书项目实战》——4.4.2产品功能

4.4.2产品功能


日志服务目前已支持50多种数据接入方案,其采集对象包括服务器与应用相关日志、物联网设备日志、阿里云产品日志、移动端数据以及多种开源产品中的数据。采集的日志可以通过HTTP、HTTPS、Syslog、Kafka、Prometheus等标准协议存入日志服务。针对海量的数据,日志服务支持千亿级数据实时采集和查询与分析能力,支持多种机器学习语法与函数,可对数据进行变点检测、预测与异常检测、时序聚类、异常对比以及根因分析等处理。为满足不同业务上的数据需要,日志服务还提供了独特的数据加工能力,可用于海量数据的规整、富化、流转、脱敏和过滤。为应对海量数据存储以及查询带来的压力,日志服务支持设置Scheduled SQL作业,对时间窗口为 , 的数据持续连续进行数据特征抽取以及数据量压缩,在保留有效数据特征的基础上极大的降低数据存储投入的成本。

image.png

图: 日志服务Scheduled SQL作业

日志服务除了日志采集以及查询的基本功能外还提供其独特的消费与投递功能。存储在日志服务的数据支持通过多语言多版本SDK、API进行实时消费。同时日志服务可以对接开源以及云上流式计算产品(Storm、Flink、Spark)进行数据实时分析、数据特征抽取以及数据转存等功能。为满足用户对不同数据存储的需要,日志服务支持将数据投递到阿里云OSS、MaxCompute、AnalyticDB MySQL以及 TSDB。而在日志数据的展示方面,日志服务有其独特的可视化解决方案,用户可以快速构建对应的监控服务。为了满足多样的监控系统需要,日志服务支持将数据投递到Grafana、云监控等监控类产品,用户可以基于对应的监控产品构建适合自己的监控预警系统。

日志服务的另一大功能就是告警。日志服务提供了多样的告警渠道,支持通过短信、语音、邮件、钉钉、企业微信、飞书、Slack、通用Webhook等渠道告警,可以满足大多数日常业务预警的渠道需要。同时日志服务的查询与分析功能提供了十多种机器学习算法,开发人员和IT运维人员可结合业务实际需要来使用日志服务的机器学习服务,对海量的日志以及时序数据进行智能监控,包括智能聚类、异常检测、异常

预测等。通过结合机器学习流式统计或图算法等进行业务异常检测,当发现异常数据后可以将结果可以直接应用在告警监控任务中。日志服务多样的告警行动策略也使得告警的灵活性以及告警的准确性上更加贴合业务的需要。日志服务支持配置多样的告警行动策略,可以对告警进行指纹去重、分组合并、合并集合去重、告警抑制、告警静默等,解决了同一问题重复告警等问题。

日志服务的数据存储方面支持冷热分层存储,以及时序数据存储两种存储形式。通过冷热分层存储可以合理降低非热点数据的存储成本。时序数据存储也为对接Grafana等监控提供了可靠的支持。

image.png

图: 日志服务SLS下游生态

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
1月前
|
人工智能 监控 Cloud Native
iLogtail 2.0 来了;通义灵码下载量破百万丨阿里云云原生 2 月产品月报
iLogtail 2.0 来了;通义灵码下载量破百万丨阿里云云原生 2 月产品月报
|
3月前
|
Cloud Native 开发者
电子好书发您分享《云原生开发者洞察白皮书》
电子好书发您分享《云原生开发者洞察白皮书》
58 2
|
2月前
|
人工智能 监控 Cloud Native
阿里云参编业内首个代码大模型标准丨云原生 2024 年 1 月产品技术动态
阿里云参编业内首个代码大模型标准丨云原生 2024 年 1 月产品技术动态
|
18天前
|
消息中间件 人工智能 监控
|
3月前
|
存储 人工智能 运维
【云原生企业级数据湖:打破数据孤岛,优化存储成本】
【云原生企业级数据湖:打破数据孤岛,优化存储成本】 随着大数据时代的到来,企业对于数据的处理和存储需求日益增长。如何有效地存储和管理大量数据,同时降低运维成本,成为了企业面临的一大挑战。盛通教育的云原生企业级数据湖方案,正是为了解决这一问题而设计的。
163 1
|
4月前
|
安全 Cloud Native 算法
云原生安全-云计算发展白皮书(2020年)解读
云原生安全-云计算发展白皮书(2020年)解读
124 0
|
5月前
|
Cloud Native 中间件 Serverless
【已结束】就在明天!50+议题,云原生领域最新技术与产品发布,云栖大会现场见
【已结束】就在明天!50+议题,云原生领域最新技术与产品发布,云栖大会现场见
|
6月前
|
人工智能 Cloud Native 中间件
阿里云云原生产品年度重磅发布,新产品、新升级、新应用,锁定云栖大会共同见证
阿里云云原生产品年度重磅发布,新产品、新升级、新应用,锁定云栖大会共同见证
35917 3
|
6月前
|
存储 Kubernetes Cloud Native
基于 Kyma 的企业级云原生应用的扩展案例分享 2
基于 Kyma 的企业级云原生应用的扩展案例分享
62 0
|
6月前
|
Cloud Native 安全 JavaScript
基于 Kyma 的企业级云原生应用的扩展案例分享 1
基于 Kyma 的企业级云原生应用的扩展案例分享
44 0

相关产品

  • 日志服务