跑批利器--批处理应用程序

简介:
 

跑批利器--批处理应用程序

      首先先了解一下什么是批处理应用程序.当然,根据名字我们基本上能够知道它是要干什么的了,就是对程序进行批量处理.

 

        现在举例一个最常见的场景:批处理应用程序从一个文件系统中导出数据到另个系统,在导出的过程中进行相关的逻辑处理,这么一个场景的场景就是它的提现.

 

     

计算机生成了可选文字:System A Exports Reads System B I writes

 

        具体可以参照上图,系统A从数据库导出文件(一般为富文本文件),然后系统B去读取这些文件,进过系统B自身的处理,将处理后的数据写到系统B的数据库中.整个过程就是批量处理程序在做的事情.

 

        因为一个批应用程序它要自动去处理这些数据,所以它必须要是健壮的和可靠的.因为没有人为的干预从一个错误中恢复正常。因此批量应用程序处理的数据量越大,需要完成的时间也就越长。这也就是说,你必须考虑在你的批处理程序中的性能,因为它是往往限制在一个特定的时间段内执行。基于此描述,批处理应用程序的要求如下:

 

    ■大数据量

批处理应用程序必须能够处理大量的数据导入、导出或计算。

    ■自动化

批处理应用程序必须运行在用户交互除外严重问题解决。

    ■健壮性

批处理应用程序必须在处理无效数据时没有导致系统崩溃.

    ■可靠性

批处理应用程序必须跟踪错误是什么时(记录、通知)。

    ■性能

批处理应用程序必须执行在专用的时间内处理完从而避免干扰任何其他应用程序的正常运行.

 

         通过以上的要求我们可以感觉到批处理应用程序算是一个挑战吧,这也就是我们为什么要用SpringBatch来进行跑批,因为SpringBatch本身的特点能够让我们更容易并且更有效可靠的完成一个批量任务.

 

       小结

 

      批量应用程序处理大量数据而无需人类干预。读者可以选择使用批处理程序来计算每月的财务报表、计算统计和索引文件的数据等等。当然涉及到银行系统中有很多业务都需要用到它,例如计提,计息,切日,账务汇总等等.

相关文章
|
网络协议 Unix Shell
FreeBSD的特点是什么?如何使用?
【10月更文挑战第29天】FreeBSD的特点是什么?如何使用?
402 2
|
5月前
|
人工智能 运维 数据可视化
申报开启丨2025年6月批次阿里云协同育人项目申报指南,支持所有学科丨云工开物
阿里云支持教育部产学合作协同育人项目,助力高校教学创新与人才培养。2025年6月批次申报通知发布,包含教学内容和课程体系改革、实践条件和实践基地建设两大类。具体方向涵盖AI+X专业课程、计算机实践、AIGC设计、大数据分析及人工智能通识教育等,提供资金、技术及资源支持。申报院校需具备实践基地,课程不少于8学时。详情及流程见官方链接,联系刘老师了解更多。
|
前端开发 测试技术 对象存储
Grafana Loki查询加速:如何在不添加资源的前提下提升查询速度
Grafana Loki查询加速:如何在不添加资源的前提下提升查询速度
471 59
|
数据采集 监控 测试技术
大型IM稳定性监测实践:手Q客户端性能防劣化系统的建设之路
本文以iOS端为例,详细分享了手 Q 客户端性能防劣化系统从0到1的构建之路,相信对业界和IM开发者们都有较高的借鉴意义。
391 3
|
监控 JavaScript 前端开发
Postman 如何查看受监控的Collections 运行结果?
Postman 如何查看受监控的Collections 运行结果?
288 0
|
8月前
|
XML 前端开发 JavaScript
Ajax与Axios,以及Apifox的入门使用
本文由blue编写于2025年3月20日,主要介绍了Ajax、Axios以及Apifox的入门使用。文章首先讲解了Ajax的概念与作用,通过原生代码示例展示了如何实现异步数据交互;接着引入Axios,说明其对Ajax的封装简化了开发流程,并给出Axios实现相同功能的代码;最后详细讲述了Apifox的基本用法,包括创建接口、设置参数及生成Mock数据,为前后端开发提供了便利工具。
274 0
|
SQL 关系型数据库 MySQL
SQL自动启动设置指南:详细步骤与技巧
在数据库管理中,确保SQL服务能够自动启动对于保持数据服务的连续性和稳定性至关重要
|
存储 弹性计算 缓存
阿里云2核CPU云服务器租用收费标准与活动价格参考
阿里云2核CPU云服务器多少钱?阿里云服务器核数是指虚拟出来的CPU处理器的核心数量,准确来讲应该是vCPU。CPU核心数的大小代表了云服务器的运算能力,CPU越高,云服务器的性能越好。阿里云服务器1核CPU就是一个超线程,2核CPU2个超线程,4核CPU4个超线程,这样云服务器可以同时处理多个任务,计算性能更强。如果网站流程较小,少量图片展示的企业网站,建议选择2核及以上CPU;如果网站流量较大,动态页面比较多,有视频等,建议选择4核、8核以上CPU。
阿里云2核CPU云服务器租用收费标准与活动价格参考
|
数据库 网络架构 UED
支付设计白皮书:支付系统的路由系统设计
支付设计白皮书:支付系统的路由系统设计
574 1
|
小程序 JavaScript 前端开发
微信小程序授权登陆 getUserProfile
微信小程序授权登陆 getUserProfile
462 0