基于AWS云服务的批处理系统架构

简介: 在AWS执行批处理任务时,允许按需配置多部分作业处理的应用架构,可用于对异构的系统的瞬时或延迟部署,并可扩展为“网格”型工作节点,通过并联的大批量任务处理实现快速收敛。

在AWS执行批处理任务时,允许按需配置多部分作业处理的应用架构,可用于对异构的系统的瞬时或延迟部署,并可扩展为“网格”型工作节点,通过并联的大批量任务处理实现快速收敛。面向批处理应用程序现在可以有很多的地方利用这种风格按需加工,包括理赔处理,大规模改造,媒体转码和多部分的数据处理工作。

 

批处理架构通常是高可变使用模式的代名词,即在一段低使用率后有明显的使用峰值(例如,月末的处理)。构建一个批处理架构有很多的方法。本文给出了一个基本的批处理架构,用来支持作业调度,作业状态检查,上传原始数据,输出作业结果,网格管理,以及报告作业性能的数据。




1. 作业管理器部署在EC2 实例上,用户通过Elastic IP与之交互。作业管理器组件控制着进程的接收,调度,启动,管理以及完成批处理作业, 同时也可以访问最终的结果,作业和worker状态,以及作业的进展信息。

2.  原始的作业数据被上传到一个高可用的永久存储器中,即S3.

3.  根据用户的行为,作业管理器将单独的作业任务插入到SQS中。

4.  Worker节点是使用AutoScaling组服务的 EC2 实例。 这个组是一个保证了worker 节点健康和可扩展的容器。Worker 节点自动地从输入队列中提取作业部分,同时执行批处理步骤列表中的单独任务。

5.  worker 节点产生的中间数据存储在 Amazon S3中。

6.  作业进展信息和统计信息存储在分析存储区。分析存储区既可以用AmazonSimpleDBRDS 实例.

7.  作为可选项, 已完成的任务可以插入到AmazonSQS 队列中,用于链式结构的再次处理节点。


目录
相关文章
|
6天前
|
弹性计算 运维 监控
阿里云云服务诊断工具:合作伙伴架构师的深度洞察与优化建议
作为阿里云的合作伙伴架构师,我深入体验了其云服务诊断工具,该工具通过实时监控与历史趋势分析,自动化检查并提供详细的诊断报告,极大提升了运维效率和系统稳定性,特别在处理ECS实例资源不可用等问题时表现突出。此外,它支持预防性维护,帮助识别潜在问题,减少业务中断。尽管如此,仍建议增强诊断效能、扩大云产品覆盖范围、提供自定义诊断选项、加强教育与培训资源、集成第三方工具,以进一步提升用户体验。
640 243
|
2月前
|
SQL 分布式计算 Hadoop
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
76 3
|
4月前
|
SQL API 数据处理
探索后端开发:从基础架构到云服务
【8月更文挑战第26天】 本文旨在为读者提供一条清晰的路径,通过这条路径,初学者可以了解后端开发的基础知识、关键技术和实践应用。我们将从一个简单的后端框架开始,逐步深入到复杂的云服务部署。文章不仅会涵盖理论知识,还会提供实际的代码示例,帮助读者更好地理解和运用这些概念。无论你是刚开始接触后端开发,还是希望扩展你的技术视野,这篇文章都将为你提供宝贵的指导和灵感。
|
4月前
|
运维 搜索推荐 大数据
云HIS系统源码,云医院信息系统:以患者为中心的云架构、云服务、云运维的信息体系
医院信息系统(HIS)正借助云计算与大数据技术,从局域网模式向互联网转型,实现医疗服务高效化、个性化。新型医疗卫生信息平台(HIP)构建了以患者为中心的云端服务体系,支持区域内资源统一管理与按需服务,促进医疗机构间的业务协同。系统具备一体化管理、标准化建设等特点,涵盖从门诊到住院全流程,包括挂号、收费、诊疗、药房药库管理等多个模块,支持数据整合与智能分析,助力医疗服务智能化升级与科学决策。
104 0
云HIS系统源码,云医院信息系统:以患者为中心的云架构、云服务、云运维的信息体系
|
4月前
|
Cloud Native Serverless 异构计算
Serverless 架构问题之AWS Lambda在容器镜像层面的进展如何解决
Serverless 架构问题之AWS Lambda在容器镜像层面的进展如何解决
47 0
|
5月前
|
SQL 分布式计算 关系型数据库
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
75 2
|
7月前
|
编译器 调度 数据库
DP读书:鲲鹏处理器 架构与编程(十)鲲鹏软件生态与云服务
DP读书:鲲鹏处理器 架构与编程(十)鲲鹏软件生态与云服务
224 0
|
13天前
|
弹性计算 API 持续交付
后端服务架构的微服务化转型
本文旨在探讨后端服务从单体架构向微服务架构转型的过程,分析微服务架构的优势和面临的挑战。文章首先介绍单体架构的局限性,然后详细阐述微服务架构的核心概念及其在现代软件开发中的应用。通过对比两种架构,指出微服务化转型的必要性和实施策略。最后,讨论了微服务架构实施过程中可能遇到的问题及解决方案。
|
22天前
|
Cloud Native Devops 云计算
云计算的未来:云原生架构与微服务的革命####
【10月更文挑战第21天】 随着企业数字化转型的加速,云原生技术正迅速成为IT行业的新宠。本文深入探讨了云原生架构的核心理念、关键技术如容器化和微服务的优势,以及如何通过这些技术实现高效、灵活且可扩展的现代应用开发。我们将揭示云原生如何重塑软件开发流程,提升业务敏捷性,并探索其对企业IT架构的深远影响。 ####
35 3
|
1月前
|
Cloud Native 安全 数据安全/隐私保护
云原生架构下的微服务治理与挑战####
随着云计算技术的飞速发展,云原生架构以其高效、灵活、可扩展的特性成为现代企业IT架构的首选。本文聚焦于云原生环境下的微服务治理问题,探讨其在促进业务敏捷性的同时所面临的挑战及应对策略。通过分析微服务拆分、服务间通信、故障隔离与恢复等关键环节,本文旨在为读者提供一个关于如何在云原生环境中有效实施微服务治理的全面视角,助力企业在数字化转型的道路上稳健前行。 ####