达达O2O后台架构演进实践:从0到4000高并发请求背后的努力
1、引言
达达创立于2014年5月,业务覆盖全国37个城市,拥有130万注册众包配送员,日均配送百万单,是全国领先的最后三公里物流配送平台。 达达的业务模式与滴滴以及Uber很相似,以众包的方式利用社会闲散人力资源,解决O2O最后三公里即时性配送难题(2016年4月,达达已经与京东到家合并)。
模拟使用Flume监听日志变化,并且把增量的日志文件写入到hdfs中
1.采集日志文件时一个很常见的现象
采集需求:比如业务系统使用log4j生成日志,日志内容不断增加,需要把追加到日志文件中的数据实时采集到hdfs中。
1.1.根据需求,首先定义一下3大要素:
采集源,即source—监控日志文件内容更新:exec ‘tail -F file’ 下沉目标,即sink—HDFS文件系统:hdfs sink
Source和sink之
支付宝17年新春红包技术体系剖析(含资料下载)
支付宝17年春节红包最大的特点是AR技术应用以及五福红包(敬业福)的回归,截止大年三十晚,支付宝页面显示约有1.68亿人集齐五福,除夕当天参与人数是2.2亿;开奖峰值高达90W/s。支撑如此之高的并发业务和庞大的人群背后的技术体系究竟隐藏着什么奥秘呢?在本文,16、17年红包技术负责人天镜飞将为您讲解红包背后“不为人知”的秘密。
Logtail 混合模式:使用插件处理文件日志
作为一个服务百万机器的日志采集 agent,Logtail 目前已经提供了包括日志切分、日志解析(完整正则、JSON、分隔符)、日志过滤在内的常见处理功能,能够应对绝大多数场景的处理需求。但有些时候,由于应用的历史原因或是本身业务日志的复杂性,单一功能可能无法满足所采集日志的处理需求,比如:
日志可能不再是单一格式,有可能同时由 JSON 或者分隔符日志组成。
蚂蚁金服CTO程立:金融级分布式交易的技术路径
伴随蚂蚁金服在新金融领域的探索,蚂蚁金服技术团队也在金融技术与架构领域不断开拓。从2005 年每秒处理1笔交易到2016 年“双十一”每秒处理12 万笔交易,从单一的支付到覆盖微贷、理财、保险、信用、银行等,那么这一切是如何发展起来的呢?今天来自蚂蚁金服的CTO程立将向大家解读这一问题。
创业公司如何做数据分析(四)ELK日志系统
作为系列文章的第四篇,本文将重点探讨数据采集层中的ELK日志系统。我们需要对日志进行集中化管理,将所有机器上的日志信息收集、汇总到一起。完整的日志数据具有非常重要的作用。