关于实时架构的一点想法

简介:

近来做了一个大屏的大项目(效果类似于下图的那种),说是要做到数据实时,甚至把物联网的那一套东西都接进来实时监控!!!
d_62841567
(大屏指挥中心效果图,来自dreamstime.com)

最后在征求多方专家的建议,综合评估各大方面的情况后后得出一方案是:
Flowchart1

其实,这样从数据产生,直到前端显示,差了好几分钟。
_

本着我是做技术的,整理了一下自己的想法,认为整体数据流程是这样的:

_

  1. 数据来源。数据来源可以很多,可以来自kafka、DB、日志文件等。
  2. 通过spark streaming或storm等实现比较实时流获取分析数据。非实时要求的数据,可以由ETL工具处理落地。
  3. 对要求实时更新显示的数据,spark每处理处理完一批以后,使用MQ+websocket通知到前端进行更新。
  4. 前端因为不是面向社会大众,所以可以指定使用支持websocket的浏览器。通过websocket与服务器通信,能够及时得知数据动态。而刷新数据,仍然使用rest的方式,H5页面只关心和处理自己关注的事件,并进行刷新就可。同时,通过定时刷新功能,也可以支持非websocket的浏览器正常的使用。

有时间上代码。。。

当然,并不是所有的最新最好的技术就是最好的解决方案。还要综合人力物力需求等各方面的情况,评估出最合适的方案

相关文章
|
18天前
|
消息中间件 存储 NoSQL
离线与实时数据开发方案
离线与实时数据开发方案
69 0
|
6月前
|
存储 数据采集 安全
阿里云实时数仓的优势
阿里云实时数仓的优势
58 1
|
7月前
|
存储 分布式计算 大数据
大数据处理平台的架构演进:从批处理到实时流处理
大数据处理平台的架构演进:从批处理到实时流处理
132 0
|
8月前
|
数据采集 存储 监控
实时数仓的可控范围
实时数仓的可控范围
44 0
|
9月前
|
canal SQL 弹性计算
实时数据及离线数据上云方案
本实验通过使用CANAL、DataHub、DataWorks、MaxCompute服务,实现数据上云,解决了数据孤岛问题,同时把数据迁移到云计算平台,对后续数据的计算和应用提供了第一步开山之路。
176 0
|
12月前
|
传感器 消息中间件 缓存
低延迟系统设计:实时数据处理和事件驱动架构
在当今的数字化时代,用户对实时性和低延迟的要求越来越高,特别是对于涉及数据处理和事件响应的系统。无论是金融交易、实时监控、在线游戏还是物联网应用,低延迟系统设计都成为了开发者的重要挑战。本文将介绍一种解决方案:实时数据处理和事件驱动架构,帮助开发者构建高效、快速响应的低延迟系统。
368 0
|
消息中间件 SQL 存储
彻底打通实时数据仓库该如何实现及多种技术架构解析
彻底打通实时数据仓库该如何实现及多种技术架构解析
59896 0
彻底打通实时数据仓库该如何实现及多种技术架构解析
|
18天前
|
存储 分布式计算 监控
日志数据采集与大数据存储方案实践
互联网及企业客户业务系统有大量的埋点日志数据实时生成,这些日志数据往往需要长期保存并有离线计算或者实时计算的需求。本文为您介绍日志数据采集与大数据存储实践方案。
日志数据采集与大数据存储方案实践
|
机器学习/深度学习 人工智能 分布式计算
离线实时一体化新能力解读| 学习笔记
快速学习离线实时一体化新能力解读
367 0
离线实时一体化新能力解读| 学习笔记
EMQ
|
数据采集 存储 人工智能
高效数据通道支撑生产情况实时分析与可视化
EMQ生产数据可视化解决方案海量保障生产数据传输和持久化的实时性、可靠性、安全性,为大数据分析、人工智能应用提供良好数据基础。
EMQ
143 0
高效数据通道支撑生产情况实时分析与可视化

热门文章

最新文章