【云栖神侠传】洞悉分毫,决策千里!看阿里神侠的海量日志处理秘籍

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 简志,阿里云高级技术专家,专注分布式系统构建一整套数据采集、分析体系。在数据处理与日志分析领域有独到见解。兼做云栖大会Workshop出品人(面向架构师的动手实践活动)

何为云栖神侠传?

互联网江湖门派风起云涌。

“A"门派在纷争不断的业界,声名显赫!

在“A"门派中,有一个世外桃源名叫“云栖社区”。

在云栖社区中,云集了众多“A"门派高手,他们功力深厚且行侠仗义,助人为乐。他们被称为“云栖神侠”。

云栖社区(http://yq.aliyun.com/?utm_source=yqdg),是阿里云面向开发者群体的开放型社区。在云栖社区中,活跃着许多阿里技术大牛,他们在自己的技术领域都是佼佼者,具有一定的业界影响力。在社区,他们通过撰写技术博文、解答技术难题,为开发者贡献着自己的能量。

他们,就是云栖社区的技术神侠!


本期神侠:简志(个人主页

本期神侠:简志

门派:阿里云

绝招:数据处理/日志分析

阿里云高级技术专家,专注分布式系统构建一整套数据采集、分析体系。在数据处理与日志分析领域有独到见解。兼做云栖大会Workshop出品人(面向架构师的动手实践活动)

f499ddf0e7f7e8ce1c6e9a8bd4d18764f9be8137

简志精选秘籍:

1. 日志处理技术

KafkaAWS Kinesis, ELKSplunk,说起日志处理方案, 都会蹦出这些耳熟能详的词汇。各大云计算公司对日志处理提供哪些产品?最新的开源技术分别是什么?将来会有哪些趋势?让神侠给你娓娓道来。

2. 阿里云日志服务

基于阿里云日志服务能解决哪些场景的什么问题?有哪些经典案例和最佳实践?不断更新ing

3. 云栖大会Workshop

小场景、大舞台。只要你能跟着做,能通过云产品组合就能便捷搭建业务。Workshop(阿里云动手实验室)目标是:“技术是为创意和理想服务的,你负责梦想,我们为你们铺路”。


神侠解惑:


手机端一睹神侠风采,请长按二维码识别:
9abeb6d5a3721ef02cceb70b00fa981c735a7990


往期神侠:

肥侠:从理论到实践,深度剖析微服务架构那点事儿!

沧龙:淘宝专家沧龙带你聊聊PHP性能之路

丁奇:带你走进MySQL的世界

青霖:淘宝专家青霖带你聊聊创业思维

德哥:阿里云数据库专家德歌告诉你PostgreSQL的那些事





相关实践学习
通过日志服务实现云资源OSS的安全审计
本实验介绍如何通过日志服务实现云资源OSS的安全审计。
相关文章
|
运维 监控 数据挖掘
应用研发平台EMAS产品常见问题之将阿里后台的日志落到我们后台失败如何解决
应用研发平台EMAS(Enterprise Mobile Application Service)是阿里云提供的一个全栈移动应用开发平台,集成了应用开发、测试、部署、监控和运营服务;本合集旨在总结EMAS产品在应用开发和运维过程中的常见问题及解决方案,助力开发者和企业高效解决技术难题,加速移动应用的上线和稳定运行。
|
消息中间件 存储 Kafka
阿里 P7 三面凉凉,kafka Borker 日志持久化没答上来
阿里 P7 三面凉凉,kafka Borker 日志持久化没答上来
|
SQL druid Java
springboot +logback+阿里数据源(druid)打印sql日志以及简化日志输出方式
springboot +logback+阿里数据源(druid)打印sql日志以及简化日志输出方式
2271 0
|
5月前
|
存储 缓存 Apache
StarRocks+Paimon 落地阿里日志采集:万亿级实时数据秒级查询
本文介绍了阿里集团A+流量分析平台的日志查询优化方案,针对万亿级日志数据的写入与查询挑战,提出基于Flink、Paimon和StarRocks的技术架构。通过Paimon存储日志数据,结合StarRocks高效计算能力,实现秒级查询性能。具体包括分桶表设计、数据缓存优化及文件大小控制等措施,解决高并发、大数据量下的查询效率问题。最终,日志查询耗时从分钟级降至秒级,显著提升业务响应速度,并为未来更低存储成本、更高性能及更多业务场景覆盖奠定基础。
|
6月前
|
存储 NoSQL Redis
阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 + 无锁架构 + EDA架构 + 异步日志 + 集群架构
阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 + 无锁架构 + EDA架构 + 异步日志 + 集群架构
阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 +  无锁架构 +  EDA架构  + 异步日志 + 集群架构
|
10月前
|
人工智能 监控 算法
3D-Speaker:阿里通义开源的多模态说话人识别项目,支持说话人识别、语种识别、多模态识别、说话人重叠检测和日志记录
3D-Speaker是阿里巴巴通义实验室推出的多模态说话人识别开源项目,结合声学、语义和视觉信息,提供高精度的说话人识别和语种识别功能。项目包含工业级模型、训练和推理代码,以及大规模多设备、多距离、多方言的数据集,适用于多种应用场景。
2053 18
3D-Speaker:阿里通义开源的多模态说话人识别项目,支持说话人识别、语种识别、多模态识别、说话人重叠检测和日志记录
|
存储 监控 Serverless
阿里泛日志设计与实践问题之Grafana Loki在日志查询方案中存在哪些设计限制,如何解决
阿里泛日志设计与实践问题之Grafana Loki在日志查询方案中存在哪些设计限制,如何解决
182 0
|
存储 搜索推荐 大数据
阿里泛日志设计与实践问题之schema-on-read技术的发展对日志搜索的影响是啥,如何解决
阿里泛日志设计与实践问题之schema-on-read技术的发展对日志搜索的影响是啥,如何解决
108 0
|
存储 监控 Apache
查询提速11倍、资源节省70%,阿里云数据库内核版 Apache Doris 在网易日志和时序场景的实践
网易的灵犀办公和云信利用 Apache Doris 改进了大规模日志和时序数据处理,取代了 Elasticsearch 和 InfluxDB。Doris 实现了更低的服务器资源消耗和更高的查询性能,相比 Elasticsearch,查询速度提升至少 11 倍,存储资源节省达 70%。Doris 的列式存储、高压缩比和倒排索引等功能,优化了日志和时序数据的存储与分析,降低了存储成本并提高了查询效率。在灵犀办公和云信的实际应用中,Doris 显示出显著的性能优势,成功应对了数据增长带来的挑战。
53569 2
查询提速11倍、资源节省70%,阿里云数据库内核版 Apache Doris 在网易日志和时序场景的实践
|
存储 Kubernetes Java
阿里泛日志设计与实践问题之在写多查少的降本场景下,通过SLS Scan方案降低成本,如何实现
阿里泛日志设计与实践问题之在写多查少的降本场景下,通过SLS Scan方案降低成本,如何实现
140 0

热门文章

最新文章