关于实时架构的一点想法

简介:

近来做了一个大屏的大项目(效果类似于下图的那种),说是要做到数据实时,甚至把物联网的那一套东西都接进来实时监控!!!
d_62841567
(大屏指挥中心效果图,来自dreamstime.com)

最后在征求多方专家的建议,综合评估各大方面的情况后后得出一方案是:
Flowchart1

其实,这样从数据产生,直到前端显示,差了好几分钟。
_

本着我是做技术的,整理了一下自己的想法,认为整体数据流程是这样的:

_

  1. 数据来源。数据来源可以很多,可以来自kafka、DB、日志文件等。
  2. 通过spark streaming或storm等实现比较实时流获取分析数据。非实时要求的数据,可以由ETL工具处理落地。
  3. 对要求实时更新显示的数据,spark每处理处理完一批以后,使用MQ+websocket通知到前端进行更新。
  4. 前端因为不是面向社会大众,所以可以指定使用支持websocket的浏览器。通过websocket与服务器通信,能够及时得知数据动态。而刷新数据,仍然使用rest的方式,H5页面只关心和处理自己关注的事件,并进行刷新就可。同时,通过定时刷新功能,也可以支持非websocket的浏览器正常的使用。

有时间上代码。。。

当然,并不是所有的最新最好的技术就是最好的解决方案。还要综合人力物力需求等各方面的情况,评估出最合适的方案

相关文章
|
5月前
|
存储 数据采集 JavaScript
深入理解数仓开发(一)数据技术篇之日志采集
深入理解数仓开发(一)数据技术篇之日志采集
|
6月前
|
消息中间件 存储 NoSQL
离线与实时数据开发方案
离线与实时数据开发方案
116 0
|
3月前
|
消息中间件 监控 关系型数据库
Serverless 应用的监控与调试问题之实时离线数仓一体化常用的解决方案有什么问题
Serverless 应用的监控与调试问题之实时离线数仓一体化常用的解决方案有什么问题
|
4月前
|
存储 数据可视化 数据挖掘
实时数据分析系统的构建与优化
【7月更文挑战第29天】实时数据分析系统的构建与优化是一个复杂而细致的过程,需要从需求分析、数据源确定、数据采集与传输、数据处理与分析、数据存储、数据可视化、系统部署与配置、监控与优化等多个方面进行综合考虑。通过选择合适的技术栈和优化策略,可以构建出高效、稳定的实时数据分析系统,为企业决策提供强有力的支持。
|
3月前
|
存储 JavaScript 前端开发
ShareDB:构建实时应用从未如此简单
ShareDB:构建实时应用从未如此简单
70 0
|
4月前
|
消息中间件 算法 中间件
|
11月前
|
存储 数据采集 安全
阿里云实时数仓的优势
阿里云实时数仓的优势
163 1
|
传感器 消息中间件 缓存
低延迟系统设计:实时数据处理和事件驱动架构
在当今的数字化时代,用户对实时性和低延迟的要求越来越高,特别是对于涉及数据处理和事件响应的系统。无论是金融交易、实时监控、在线游戏还是物联网应用,低延迟系统设计都成为了开发者的重要挑战。本文将介绍一种解决方案:实时数据处理和事件驱动架构,帮助开发者构建高效、快速响应的低延迟系统。
503 0
|
机器学习/深度学习 人工智能 分布式计算
离线实时一体化新能力解读| 学习笔记
快速学习离线实时一体化新能力解读
854 0
离线实时一体化新能力解读| 学习笔记
EMQ
|
数据采集 存储 人工智能
高效数据通道支撑生产情况实时分析与可视化
EMQ生产数据可视化解决方案海量保障生产数据传输和持久化的实时性、可靠性、安全性,为大数据分析、人工智能应用提供良好数据基础。
EMQ
179 0
高效数据通道支撑生产情况实时分析与可视化