跑批利器--批处理应用程序

简介:
 

跑批利器--批处理应用程序

      首先先了解一下什么是批处理应用程序.当然,根据名字我们基本上能够知道它是要干什么的了,就是对程序进行批量处理.

 

        现在举例一个最常见的场景:批处理应用程序从一个文件系统中导出数据到另个系统,在导出的过程中进行相关的逻辑处理,这么一个场景的场景就是它的提现.

 

     

计算机生成了可选文字:System A Exports Reads System B I writes

 

        具体可以参照上图,系统A从数据库导出文件(一般为富文本文件),然后系统B去读取这些文件,进过系统B自身的处理,将处理后的数据写到系统B的数据库中.整个过程就是批量处理程序在做的事情.

 

        因为一个批应用程序它要自动去处理这些数据,所以它必须要是健壮的和可靠的.因为没有人为的干预从一个错误中恢复正常。因此批量应用程序处理的数据量越大,需要完成的时间也就越长。这也就是说,你必须考虑在你的批处理程序中的性能,因为它是往往限制在一个特定的时间段内执行。基于此描述,批处理应用程序的要求如下:

 

    ■大数据量

批处理应用程序必须能够处理大量的数据导入、导出或计算。

    ■自动化

批处理应用程序必须运行在用户交互除外严重问题解决。

    ■健壮性

批处理应用程序必须在处理无效数据时没有导致系统崩溃.

    ■可靠性

批处理应用程序必须跟踪错误是什么时(记录、通知)。

    ■性能

批处理应用程序必须执行在专用的时间内处理完从而避免干扰任何其他应用程序的正常运行.

 

         通过以上的要求我们可以感觉到批处理应用程序算是一个挑战吧,这也就是我们为什么要用SpringBatch来进行跑批,因为SpringBatch本身的特点能够让我们更容易并且更有效可靠的完成一个批量任务.

 

       小结

 

      批量应用程序处理大量数据而无需人类干预。读者可以选择使用批处理程序来计算每月的财务报表、计算统计和索引文件的数据等等。当然涉及到银行系统中有很多业务都需要用到它,例如计提,计息,切日,账务汇总等等.

目录
打赏
0
0
0
0
22
分享
相关文章
跑批为什么这么难
业务系统产生的明细数据需经加工处理以支持企业经营,此过程称作“跑批”,常在夜间进行以免影响生产系统。跑批任务涉及大量数据及复杂计算,导致耗时较长。开源计算引擎SPL可直接基于文件系统计算,提供更优算法与存储机制,显著提升跑批效率。例如,L银行贷款协议跑批任务从2小时缩短至10分钟,性能提高12倍;P保险公司车险业务的历史保单关联任务从近2小时缩短至17分钟,速度提升近7倍;T银行贷款跑批任务提速204倍。
B端算法实践问题之配置脚本以支持blink批处理作业的调度如何解决
B端算法实践问题之配置脚本以支持blink批处理作业的调度如何解决
73 1
Flink 新一代流计算和容错问题之中间数据流动缓慢导致 Checkpoint 慢的问题要如何解决
Flink 新一代流计算和容错问题之中间数据流动缓慢导致 Checkpoint 慢的问题要如何解决
Serverless 应用的监控与调试问题之Flink对于Checkpoint Barrier流动缓慢的问题要如何解决
Serverless 应用的监控与调试问题之Flink对于Checkpoint Barrier流动缓慢的问题要如何解决
基于多线程的方式优化 FLink 程序
这篇内容介绍了线程的基本概念和重要性。线程是程序执行的最小单位,比进程更细粒度,常用于提高程序响应性和性能。多线程可以实现并发处理,利用多核处理器,实现资源共享和复杂逻辑。文章还讨论了线程的五种状态(NEW、RUNNABLE、BLOCKED、WAITING、TIMED_WAITING和TERMINATED)以及如何在Java中创建和停止线程。最后提到了两种停止线程的方法:使用标识和中断机制。
320 5
分布式批处理框架在大促场景下的设计与实现
分布式批处理框架在大促场景下的设计与实现
184 0
Java开发异步批处理教程
Java开发异步批处理教程
270 1
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等