跑批利器--批处理应用程序-阿里云开发者社区

开发者社区> 浩宇天尚> 正文

跑批利器--批处理应用程序

简介:
+关注继续查看
 

跑批利器--批处理应用程序

      首先先了解一下什么是批处理应用程序.当然,根据名字我们基本上能够知道它是要干什么的了,就是对程序进行批量处理.

 

        现在举例一个最常见的场景:批处理应用程序从一个文件系统中导出数据到另个系统,在导出的过程中进行相关的逻辑处理,这么一个场景的场景就是它的提现.

 

     

计算机生成了可选文字:System A Exports Reads System B I writes

 

        具体可以参照上图,系统A从数据库导出文件(一般为富文本文件),然后系统B去读取这些文件,进过系统B自身的处理,将处理后的数据写到系统B的数据库中.整个过程就是批量处理程序在做的事情.

 

        因为一个批应用程序它要自动去处理这些数据,所以它必须要是健壮的和可靠的.因为没有人为的干预从一个错误中恢复正常。因此批量应用程序处理的数据量越大,需要完成的时间也就越长。这也就是说,你必须考虑在你的批处理程序中的性能,因为它是往往限制在一个特定的时间段内执行。基于此描述,批处理应用程序的要求如下:

 

    ■大数据量

批处理应用程序必须能够处理大量的数据导入、导出或计算。

    ■自动化

批处理应用程序必须运行在用户交互除外严重问题解决。

    ■健壮性

批处理应用程序必须在处理无效数据时没有导致系统崩溃.

    ■可靠性

批处理应用程序必须跟踪错误是什么时(记录、通知)。

    ■性能

批处理应用程序必须执行在专用的时间内处理完从而避免干扰任何其他应用程序的正常运行.

 

         通过以上的要求我们可以感觉到批处理应用程序算是一个挑战吧,这也就是我们为什么要用SpringBatch来进行跑批,因为SpringBatch本身的特点能够让我们更容易并且更有效可靠的完成一个批量任务.

 

       小结

 

      批量应用程序处理大量数据而无需人类干预。读者可以选择使用批处理程序来计算每月的财务报表、计算统计和索引文件的数据等等。当然涉及到银行系统中有很多业务都需要用到它,例如计提,计息,切日,账务汇总等等.

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
批处理bat文件的写作教程及实例
怎么写批处理bat文件echo、@、call、pause、rem(小技巧:用::代替rem)是批处理文件最常用的几个命令。echo 表示显示此命令后的字符 echo off 表示在此语句后所有运行的命令都不显示命令行本身 @与echo off相象,但它是加在每个命令行的最前面,表示运行时不显示这一行的命令行(只能影响当前行)。
721 0
转:JavaScript事件冒泡简介及应用
(本文转载自别处) JavaScript事件冒泡简介及应用   一、什么是事件冒泡 在一个对象上触发某类事件(比如单击onclick事件),如果此对象定义了此事件的处理程序,那么此事件就会调用这个处理程序,如果没有定义此事件处理程序或者事件返回true,那么这个事件会向这个对象的父级对象传播,从里到外,直至它被处理(父级对象所有同类事件都将被激活),或者它到达了对象层次的最顶层,即document对象(有些浏览器是window)。
677 0
Flink运行时之批处理程序生成计划
批处理程序生成计划 DataSet API所编写的批处理程序跟DataStream API所编写的流处理程序在生成作业图(JobGraph)之前的实现差别很大。流处理程序是生成流图(StreamGraph),而批处理程序是生成计划(Plan)并由优化器对其进行优化并生成优化后的计划(OptimizedPlan)。
1738 0
Web系统下Office文档的处理 之OpenXml应用分类资料
本文对常见的处理参考和工具提供一个简要的参考。 对于实际的解决方案参考如下地址(有很多的分类知识) http://blogs.msdn.com/b/ericwhite/archive/2008/10/20/eric-white-s-blog-s-table-of-contents.
889 0
HaaS UI基础教学九:JSAPI应用包管理
Package JSAPI是HaaS UI提供的一个轻量级应用包管理接口,特别适用于管理小程序应用包的安装信息。
44 0
IoT应用端消息处理的两种策略---基于MQTT通道
在物联网领域多年的开发和架构经历,使我接触到了不同领域的物联网解决方案,比如智能家居中对空调,热水器,洗衣机,室灯等家用设备的单品控制,比如智能办公中通过人脸识别对闸机和门禁进行开关控制,再比如智能建筑中的对高空吊栏危险系数的实时预警等,均反映了物联网正在以前所未有的速度不断的影响着我们的衣食住行,不断的改变人们的生活,使我们的生活更高效,更便捷,更安全。
1152 0
如何使用 GeoTrellis 和 React 构建地理处理应用程序
这篇博文是使用 GeoTrellis、Akka HTTP和 React 创建GIS处理的网页应用程序的指南。翻译自凯利·英尼斯 (Kelly Innes)的博客。
37 0
+关注
63
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载