离线实时消息统计

简介: 离线实时消息统计

1.埋点数据---准确性要求一般

点击、浏览都会产生数据,可以上报。

离线:将pv、cl(日志)等数据上传至服务器,每天定时(一般选择晚上)去拉数据,进行MR处理,同步至HDFS,进行hive查询。

实时:服务端上报至kafka等消息队列里,然后实时同步落地或者直接消费

2.订单数据----准确性要求较高

下单、支付、取消、拆单、优惠、状态改变等消息

离线:每天抽取MySQL数据,同步至hdfs

实时:(1)接binlog日志,实时同步(2)发送消息队列,接消息队列进行同步


相关文章
|
7月前
|
消息中间件 存储 NoSQL
离线与实时数据开发方案
离线与实时数据开发方案
127 0
|
消息中间件 自然语言处理 容灾
实时或者准实时的说法
假期重新把之前在新浪博客里面的文字梳理了下,搬到这里。本文从个人理解出发,探探实时或者准实时搜索。
1921 0
|
6月前
|
SQL 运维 Serverless
函数计算产品使用问题之实时数据消费太慢,造成积压,该怎么办
函数计算产品作为一种事件驱动的全托管计算服务,让用户能够专注于业务逻辑的编写,而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景,从简单的数据处理到复杂的业务逻辑,实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点,帮助你更好地理解和应用这一服务。
|
消息中间件 JSON 物联网
实时即未来,车联网项目之原始终端数据实时ETL【二】
实时即未来,车联网项目之原始终端数据实时ETL【二】
235 0
实时即未来,车联网项目之原始终端数据实时ETL【二】
|
监控 Java API
与实时消费对接 | 学习笔记
快速学习与实时消费对接
|
数据采集 数据可视化 算法
TDA-04D8变送器数据上报阿里云
本文将以TDA-04D8变送器作为采集对象,使用海创微联采集控制系统对TDA-04D8变送器进行采集,然后将设备上的毛重、净重、皮重数据采集上传到阿里云物联网平台,阿里云物联网平台将数据实时可视化。
620 0
TDA-04D8变送器数据上报阿里云
|
存储 JSON 运维
多模式日志数据流的实时加工与集散
日志处理是一个极其繁琐的过程,究其原因是日志的边界情况特别多,而且可能随时在变。阿里云 SLS 数据加工服务是专门针对日志规整、富化、集散等处理场景。本文主要介绍在多模式混杂的日志集散场景下,如何快速使用 SLS 数据加工服务完成需求。
376 0
多模式日志数据流的实时加工与集散
|
存储 分布式计算 MaxCompute
学会这个,实时数据(Blink)实时查询实时写入!
交互式分析的另一核心功能是能够对实时数据实时写入实时查询,既能存储实时计算初步聚合后的数据,又能实现高并发的简单、复杂查询,同时也有JDBC/ODBC接口,轻松对接第三方工具,只需要一套代码维护一套系统,就能完美满足业务的实时查询、分析要求。
3691 0
|
算法 搜索推荐 双11