离线实时消息统计

简介: 离线实时消息统计

1.埋点数据---准确性要求一般

点击、浏览都会产生数据,可以上报。

离线:将pv、cl(日志)等数据上传至服务器,每天定时(一般选择晚上)去拉数据,进行MR处理,同步至HDFS,进行hive查询。

实时:服务端上报至kafka等消息队列里,然后实时同步落地或者直接消费

2.订单数据----准确性要求较高

下单、支付、取消、拆单、优惠、状态改变等消息

离线:每天抽取MySQL数据,同步至hdfs

实时:(1)接binlog日志,实时同步(2)发送消息队列,接消息队列进行同步


相关文章
|
7月前
|
消息中间件 存储 NoSQL
离线与实时数据开发方案
离线与实时数据开发方案
131 0
|
消息中间件 自然语言处理 容灾
实时或者准实时的说法
假期重新把之前在新浪博客里面的文字梳理了下,搬到这里。本文从个人理解出发,探探实时或者准实时搜索。
1932 0
|
消息中间件 JSON 物联网
实时即未来,车联网项目之原始终端数据实时ETL【二】
实时即未来,车联网项目之原始终端数据实时ETL【二】
238 0
实时即未来,车联网项目之原始终端数据实时ETL【二】
|
存储 JSON 运维
多模式日志数据流的实时加工与集散
日志处理是一个极其繁琐的过程,究其原因是日志的边界情况特别多,而且可能随时在变。阿里云 SLS 数据加工服务是专门针对日志规整、富化、集散等处理场景。本文主要介绍在多模式混杂的日志集散场景下,如何快速使用 SLS 数据加工服务完成需求。
379 0
多模式日志数据流的实时加工与集散
|
存储 分布式计算 MaxCompute
学会这个,实时数据(Blink)实时查询实时写入!
交互式分析的另一核心功能是能够对实时数据实时写入实时查询,既能存储实时计算初步聚合后的数据,又能实现高并发的简单、复杂查询,同时也有JDBC/ODBC接口,轻松对接第三方工具,只需要一套代码维护一套系统,就能完美满足业务的实时查询、分析要求。
3703 0
|
分布式计算 大数据 流计算
基于Flink流处理的动态实时电商实时分析系统
Flink是一个针对流数据和批数据的分布式处理引擎,主要用Java代码实现。
2367 0
|
算法 搜索推荐 双11
|
消息中间件 物联网 Kafka