一个批量计算的调度系统的设计与实现

简介: 如果需要对成千上万的网络抓包数据文件,在规定的时间内进行解析,应该怎么做?

如果需要对成千上万的网络抓包数据文件,在规定的时间内进行解析,应该怎么做?

场景

  1. 有大量的文件
  2. 每个文件的处理需要花 大量的CPU时间,对IO的负载不大。
  3. 要在规定的时间内完成处理

思路

  1. 单机无法达成目标,需要使用集群
  2. 设计一个批量计算的调度系统

设计

  1. 因为该场景是重计算轻IO的,所以可以将所有的文件集中到某一个文件系统中,比如HDFS或者FTP。
  2. 元数据的管理,放在关系型数据库上,具体的来讲,就是放在MySQL中。因为MySQL技术相对成熟,使用的人多,能够支撑。
  3. 在每个计算节点,部署守护程序。每个守护程序都是独立的。守护程序通过抢占式的调度方式,来启动任务。
    架构如下图所示:

arch

实现

数据库设计

主要分3部分:

  • 文件相关的表: 使用2个表来描述

    bc_file_list:文件清单  
    bc_fs_list:文件对应的文件系统的详情  
    
  • 任务相关的表:使用3个表来描述

    bc_task_list: 任务清单  
    bc_task_filein:输入  
    bc_task_fileout:输出  
    
  • 计算节点相关的表:使用1个表来描述

    bc_launcher_list:有那些机器,每台机器指配给了哪个任务  
    

sql

守护程序设计

主要分为3个独立的程序

  • launcher:负责与数据库交互 ,获取需要处理的文件信息(注意并发),监控节点健康状态
  • executor:负责与文件系统交互,启动具体的任务,监控任务执行状态
  • task: 具体的任务程序,比如一个网络数据的解析程序

分为3个独立程序的原因:

  • 保证launcher的精简和健壮,不会任务任务的失败导致整个节点的调度挂掉
  • 保证对task的监控,如果某一task失败,也需要报告其状态,达到对任务的完整跟踪。

launcher

应用

规模

1 台MySQL服务器
1 个文件系统
12 个计算节点
45350 个文件

负载

文件系统的网络带宽
net
MySQL的负载
db

结论

  1. 设计的系统满足了应用的要求
  2. 作为task的解析文件,在这个过程中经过了多次的变更,每次变更都需要重新解析整个文件。该系统可以很好的满足要求。

作者:https://yq.aliyun.com/u/huaheshang

相关文章
安诺云联合阿里云国内首推批量计算,助力三代Canu组装加速
随着测序技术的不断发展,大量基因组学数据被积累,对于数据分析软件的要求也越来越高,尤其是在做基因组组装分析时,软件的计算资料消耗和分析周期往往是研究者不得不考虑的问题。Canu[1]是一款目前广泛使用的三代基因组组装软件,文章发表短短两年时间,引用的次数已接近1000次,其中不乏顶级的CNS期刊。
3622 0
|
对象存储 文件存储 存储
阿里云批量计算怎么在控制台提交和管理作业?
阿里云批量计算(BatchCompute)是一种适用于大规模并行批处理作业的分布式云服务。 用户可以提交一个任意的计算机程序,让它在阿里云的多个 VM 实例上同时运行,然后把结果写入到指定的持久化存储位置(如阿里云对象存储 OSS 或者文件存储 NAS)。
1859 0
阿里云批量计算推出预付费模式,最高节省用户60%成本
近日,阿里云批量计算推出预付费模式,适用于有稳定长期计算量需求的批量计算客户,用户通过包月方式创建集群,可以降低计算资源成本。
1998 0
|
调度 数据挖掘 编解码
一分钟了解阿里云产品:批量计算概述
  阿里云有很多产品,今天让我们来了解下批量计算(BatchCompute)这款产品吧。   什么是批量计算呢?   批量计算是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute可支持海量作业并发规模,系统自动完成资源管理,作业调度和数据加载,并按实际使用量计费。Bat
6171 0
|
消息中间件 负载均衡 网络协议
ZMQ/ZeroMQ的三种消息模式
ZMQ/ZeroMQ的三种消息模式
ZMQ/ZeroMQ的三种消息模式
|
数据采集 安全 物联网
点点未来:幼儿园遇上物联网,智慧幼儿园感知教育的诞生
将IoT物联网技术应用在幼儿园中,帮助点点未来将存量幼儿园升级为IoT智慧幼儿园
2806 1
点点未来:幼儿园遇上物联网,智慧幼儿园感知教育的诞生
|
存储 SQL Cloud Native
一文读懂AnalyticDB MySQL过滤条件智能下推原理
在AnalyticDB MySQL中,由于存储计算分离架构,那么谓词下推就是把所有能推的谓词都推到存储节点上去做。本文深入解析了AnalyticDB MySQL过滤条件智能下推原理。
903 0
一文读懂AnalyticDB MySQL过滤条件智能下推原理
|
存储 分布式计算 运维
交易数据清算从8小时缩至1.5小时,飞天大数据平台MaxCompute解决余额宝算力难题
关于天弘:天弘基金作为国内总规模最大的公募基金,阿里云MaxCompute为我们构建了企业级一站式大数据解决方案。MaxCompute对于海量数据的存储、运维、计算能力强大且安全稳定,阿里云服务将原本需要清算8小时的用户交易数据缩短至清算1个半小时,同时减少了本地服务器部署压力,在显著提升我们工作效率的同时减少了大量开发成本和人力成本,使我们能更专注于业务发展,为用户提供高品质、高价值的金融服务。
5107 57
|
机器学习/深度学习 物联网 大数据

热门文章

最新文章