基于AWS的时序处理应用架构

简介: 当数据用来作为定期连续测量时,它被称为时间序列信息。通过AWS的独特定位解决了基于时间序列的信息处理带来了规模化挑战。 这种弹性是通过AutoScaling组进行采集处理,Amazon Elastic MapReduce定时作业的AWS数据管道,系统间数据编排的AWS数据管道,大规模数据分析的AmazonRedshift来实现的。

当数据用来作为定期连续测量时,它被称为时间序列信息。通过AWS的独特定位解决了基于时间序列的信息处理带来了规模化挑战。

 

这种弹性是通过AutoScaling组进行采集处理,Amazon Elastic MapReduce定时作业的AWS数据管道,系统间数据编排的AWS数据管道,大规模数据分析的AmazonRedshift来实现的。关键架构要素包括用于消息缓冲的SQS,它减少了频繁AWS数据管道调度,保持了整体解决方案的成本预测和控制。



1.  远程设备,如电表,移动客户端,广告网络客户端,工业仪表,卫星和环境测量工具感知着他们周围的世界,并通过HTTP(S)发送采样传感器数据作为信息进行处理。

 

2.  发送到Amazon Simple QueueService 队列的信息通过自扩展的AmazonEC2 进一步存储到 Amazon DynamoDB。 DynamoDB 中的表是一个基于时间且面向星期的表结构。

 

3.  如果存在一个一个监督控制和数据采集(SCADA)的系统,可以从Amazon DynamoDB 创建采样数据流来分别支持另外的云计算或其他的现有系统。

 

4.  通过一个定时的Amazon ElasticMapReduce作业来创建数据管道,可以同时计算密集的采样处理并输出采样结果。

 

5.  数据管道将结果存储到Amazon Redshift用于进一步的分析。

 

6.  数据管道将面向星期的历史采样数据表从AmazonDynamoDB 导出到Amazon Simple Storage Service (Amazon S3)。

 

7.  数据管道将结果导出为其他可接受的自定义格式。

 

 

8.  Amazon Redshift 作为选项来保留历史采样数据及计算结果。

 

9.  用内部或亚马逊合作伙伴的商业智能解决方案,AmazonRedshift可以支持其他的大规模分析。


目录
相关文章
|
14天前
|
运维 Cloud Native 持续交付
深入理解云原生架构及其在现代企业中的应用
随着数字化转型的浪潮席卷全球,企业正面临着前所未有的挑战与机遇。云计算技术的迅猛发展,特别是云原生架构的兴起,正在重塑企业的IT基础设施和软件开发模式。本文将深入探讨云原生的核心概念、关键技术以及如何在企业中实施云原生策略,以实现更高效的资源利用和更快的市场响应速度。通过分析云原生架构的优势和面临的挑战,我们将揭示它如何助力企业在激烈的市场竞争中保持领先地位。
|
7天前
|
机器学习/深度学习 编解码 人工智能
超越Transformer,全面升级!MIT等华人团队发布通用时序TimeMixer++架构,8项任务全面领先
一支由麻省理工学院、香港科技大学(广州)、浙江大学和格里菲斯大学的华人研究团队,开发了名为TimeMixer++的时间序列分析模型。该模型在8项任务中超越现有技术,通过多尺度时间图像转换、双轴注意力机制和多尺度多分辨率混合等技术,实现了性能的显著提升。论文已发布于arXiv。
123 83
|
19天前
|
Cloud Native 安全 持续交付
深入理解微服务架构及其在现代软件开发中的应用
深入理解微服务架构及其在现代软件开发中的应用
39 3
|
19天前
|
运维 Kubernetes Docker
深入理解容器化技术及其在微服务架构中的应用
深入理解容器化技术及其在微服务架构中的应用
40 1
|
20天前
|
监控 持续交付 API
深入理解微服务架构及其在现代应用开发中的应用
深入理解微服务架构及其在现代应用开发中的应用
24 0
|
21天前
|
边缘计算 监控 自动驾驶
揭秘云计算中的边缘计算:架构、优势及应用场景
揭秘云计算中的边缘计算:架构、优势及应用场景
|
21天前
|
存储 监控 API
深入解析微服务架构及其在现代应用中的实践
深入解析微服务架构及其在现代应用中的实践
29 0
|
13天前
|
弹性计算 API 持续交付
后端服务架构的微服务化转型
本文旨在探讨后端服务从单体架构向微服务架构转型的过程,分析微服务架构的优势和面临的挑战。文章首先介绍单体架构的局限性,然后详细阐述微服务架构的核心概念及其在现代软件开发中的应用。通过对比两种架构,指出微服务化转型的必要性和实施策略。最后,讨论了微服务架构实施过程中可能遇到的问题及解决方案。
|
22天前
|
Cloud Native Devops 云计算
云计算的未来:云原生架构与微服务的革命####
【10月更文挑战第21天】 随着企业数字化转型的加速,云原生技术正迅速成为IT行业的新宠。本文深入探讨了云原生架构的核心理念、关键技术如容器化和微服务的优势,以及如何通过这些技术实现高效、灵活且可扩展的现代应用开发。我们将揭示云原生如何重塑软件开发流程,提升业务敏捷性,并探索其对企业IT架构的深远影响。 ####
35 3
|
1月前
|
Cloud Native 安全 数据安全/隐私保护
云原生架构下的微服务治理与挑战####
随着云计算技术的飞速发展,云原生架构以其高效、灵活、可扩展的特性成为现代企业IT架构的首选。本文聚焦于云原生环境下的微服务治理问题,探讨其在促进业务敏捷性的同时所面临的挑战及应对策略。通过分析微服务拆分、服务间通信、故障隔离与恢复等关键环节,本文旨在为读者提供一个关于如何在云原生环境中有效实施微服务治理的全面视角,助力企业在数字化转型的道路上稳健前行。 ####