Serverless日志处理挑战与方案-阿里云开发者社区

开发者社区> 云计算小粉> 正文

Serverless日志处理挑战与方案

简介: 本文PPT来自阿里云的简志于10月16日在2016年杭州云栖大会上发表的《Serverless日志处理挑战与方案》。
+关注继续查看

本文PPT来自阿里云的简志于10月16日在2016年杭州云栖大会上发表的《Serverless日志处理挑战与方案》。

随着Serverless架构变得越来越流行,它不仅给研发与运营方面带来了便捷,同时也提出的新挑战,这是由于以下三个因素:1. 市场节奏变快,由卖方市场到买方市场成熟时间变短 2.云对技术影响大,运维转向运营,上线周期缩短 3.数据改变运营,需要收集百万用户行为,并实时提升游戏。

此外,由于Serverless架构同时影响了传统的计算与日志模式,所以Serverless也对日志处理提出了挑战。具体而言,这里挑战包括:

1.技术挑战,因为日志信息有多个来源,如应用打点、用户访问、程序日志,并且通过容器、移动端、网页端多种渠道,所以需要多渠道、多维度、多种处理方法。
2.规模挑战,面对上百万同时在线的用户所产生的数据,系统应利用这些日志更快地解决问题,这要就系统能处理大量数据,并且实时性强。

3.业务挑战,对于运营、运维报表,系统应快速响应并处理,对每一份数据都提供多个产出。

面对这些挑战,阿里云对应提供了日志服务。这个系统由LogHub、LogSearch和LogShipper三部分组成,其中LogHub负责采集和消费日志,LogSearch负责索引和查询日志,LogShipper则负责日志投递。这里日志采集模块主要是在Docker环境下进行,能够采集Stdout日志和文件日志,并且具有无特殊配置、弹性伸缩和Pb级大规模应用等特性。其他模块还包括以下功能:为应用添加更多采集点、日志清洗与ETL、弹性伸缩能力、日志在线离线对接、日志索引与查询、链路跟踪与山下文查询等。未来,在日志服务2.0时代,阿里将在模糊查询、可伸缩储存和支持对接更多处理方案三大方面持续研究。

db20324f6df2ab8c1fd6e0098a5eca106ccbe3ca
434954cdf409fb33891f8138e66a9c6430da82e6
22ab47a3dc9d6cd9d7eca697c170a780fd81993b
b1d165b6649035ee5c5a3b09afd1e217b1d087d3
f8fa692c56133e69c16472cf9dfa94e546036678
f64c363504a42bba3cc17b5c1ec8381875a27024
a71ce5ff45b3776a1973be5a055374adb7092b88
40ea40eeff1f86e5a14a7d38ae46bd743cb40a5f
7ef99388c525fe70decea34ad15e86792e21b0bc
95dc6f49f482bad7d061cf01524745b91fcc5c29

66b04b8b4cedbc32df8aa1577941e05dc51f7e74
6b6597f9d4df8c949afb692dca26b1dadf050607
e7ffe3ebf64a374ef0b4f1ea4d2c668e47f1f38f

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
说出你和「云原生」的故事,获得年度云原生顶级盛会通行证
快来投稿你与云原生的故事,即可获得价值 350 元的 KubeCon + CloudNativeCon + OpenSource Summit 2021 China Virtual 门票!
7 0
数据库框架MyBatisPlus的使用解析!详细解析MyBatisPlus中API的使用方式
本篇文章具体对数据库框架MyBatisPlus中的API的使用方式进行详细的说明解析,包括注解的使用,CRUD接口的使用和条件构造器的使用。通过实例对MyBatisPlus中API方法进行具体的使用说明,可以帮助你学会在项目中集成使用MyBatisPlus框架。
4 0
云原生-我的学习路线总结
我的学习路线总结
9 0
SpringBoot-RabbitMQ02-原理介绍
本文来介绍下RabbitMQ的工作原理。在具体介绍之前最好对java的观察者模式有所了解,那么对于消息中间件就非常好理解了
6 0
通过数组模拟ArrayList结构,完成容器的创建、添加、修改、删除,以及可以 遍历自定义的结构,
通过数组模拟ArrayList结构,完成容器的创建、添加、修改、删除,以及可以 遍历自定义的结构,
3 0
SpringCloud-分布式配置中心【动态刷新】
本文我们来讨论下如何在配置中心的信息被改变的情况下,及时刷新客户端的数据的情况。
5 0
189
文章
6218
问答
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载