挑战大数据 金仓助力三农自助支付系统

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
日志服务 SLS,月写入数据量 50GB 1个月
简介:

本文讲的是挑战大数据 金仓助力三农自助支付系统,中国农业银行是我国四大国有独资商业银行之一,是中国金融体系的重要组成部分,总行设在北京。作为一家城乡并举、联通国际、功能齐备的大型国有商业银行,中 国农业银行一贯秉承以客户为中心的经营理念,坚持审慎稳健经营、可持续发展,立足县域和城市两大市场,实施差异化竞争策略,着力打造“伴你成长”服务品 牌,依托覆盖全国的分支机构、庞大的电子化网络和多元化的金融产品,致力为广大客户提供优质的金融服务,与广大客户共创价值、共同成长。

  中国农业银行网点遍布中国城乡,是国内网点最多、业务辐射范围最广的大型国有商业银行。依托遍布各地的网点,采用世界尖端科技,中国农业银行建成了国内最大的金融电子化网络,实现了结算业务的全国联网处理。目前,农业银行信息化建设步伐加快,信息化建设综合实力明显增强。

  农业、农村、农民问题关系党和国家事业发展全局,解决好“三农”问题始终是党和政府全部工作的重中之重。农村金融是现代农村经济的核心。要实现农业发展、农村繁荣和农民增收,离不开金融的强有力支持。

  中国农业银行多年来始终高度重视“三农”金融服务工作。经过多年的改革与发展,中国农业银行初步形成了多层次、广覆盖的“三农”金融服务体系,县域机构网点可持续发展能力不断增强,农村存贷款持续增加,金融服务已基本覆盖全国县域。

  在 三农金融服务体系的建设中,信息系统最主要的建设目标就是要保障系统正确、稳定、安全的运行,信息安全是关系到银行金融机构能够正常、稳定运转的重要前 提。银行业所掌握的信息往往会涉及到用户甚至国家的核心利益,维护银行金融信息的安全保密是银行业重要职责,因此银行信息系统在做到正确稳定运行的同时又 要保证客户信息的保密性。但根据权威机构报告显示,实际每年针对银行、金融机构的恶意攻击和侵入近年都在逐年增高,国内外黑客侵入案例时有发生。对于多国 政府、金融企业及其他众多关键部门应用广泛的数据库ORACLE,屡次爆出的“数据门”严重安全问题,且无任何及时补救措施,任由黑客进出自由。诸如此类 层出不穷的数据安全问题,令人不安。

  商业价值及意义

  为了弥补过去系统安全机制不足,业务应用范围受局限等问题,并进一步落实国家信息安全等级保护工作要求,中国农业银行积极建设具有本行特色的高安全等级保护下的电子金融自助支付系统,并广泛采用了一系列我国自主知识产权的安全产品。

  该系统的建设弥补了我国目前的农村金融服务手段的相对不足,安全自助支付终端作为一种新型的自助服务机具,具有成本低、使用简单、方便、快捷的特点,适合在 农村地区推广使用,并可作为农行在广大农村地区提供三农金融服务的支持平台,开发惠农卡小额贷款服务等功能,为农行服务三农提供有力支撑。该系统服务于涵 盖农行“惠农卡”用户、普通借记卡用户、农民工卡用户以及县域等批发市场商户经营者、涉农小企业及个体工商户在内的广大客户,较大程度的提高农行服务“三 农”的水平与质量。

  通过该系统,用户可以方便的使用三农自助金融终端享受到常用的查询、缴费、消费结算、转账的金融服务,也可以享受更高级别的金融服务,如小额借贷、外汇买卖、保险、理财服务等,并获得高等级的安全保护。

  三农高安全等级金融自助支付系统的成功应用,是我国金融领域应用自主知识产权的安全产品获得的又一次成功。

  在此之前,由于在银行、金融等领域的相关业务系统对数据库的要求较高,国产数据库相较于国外数据库起步较晚,成熟度不如国外数据库,加之市场上对国产数据库 的认可度不够,所以国产数据库迟迟不能够进入银行相关业务系统领域,金仓数据库KingbaseES凭借产品的高稳定性、可靠性、以及良好的性能表现,通 过了严格的测试,成为唯一参与三农安全金融自助支付系统的国产数据库厂商,系统的成功上线运行,再次证明国产数据库KingbaseES在高可靠、高要求 的系统中运行的可行性。也更加坚定人大金仓开拓国产数据库市场,发展国产数据库事业的信心。

  客户需求及业务挑战

  按计划,金仓数据库将部署在试点省份的省农行运行中心的业务系统服务器,以及北京农行运维中心的CA系统服务器上,在试点省份下各县市部署自助交易终端。整个系统对数据库产品在通用性、易用性、可靠性和稳定性、移植扩展性和安全性都有较高的要求。

  (一)客户需求

  通用性

  易用性

  移植扩展性

  (二)金仓数据库所满足指标要求

  金仓数据库KingbaseES是大型通用的关系数据库系统,采用成熟的关系数据库模型,支持SQL92、SQL99标准符合99%以上,支持GBK、 GB18030、UTF-8、ASCII等字符集,支持BLOB、CLOB等大对象数据类型,拥有几十TB级别数据量的成功案例,产品自带COPY数据导 入导出工具,能够支持多种格式的文本数据导入导出。

  金仓数据库KingbaseES提供了与产品相关的一系列管理工具,并支持客户端java工具远程管理多台服务器实例功能,以及通过浏览器登录Web管理工 具管理数据库服务器功能。其中java管理工具包括企业管理器、查询分析器、物理备份还原工具、逻辑备份还原工具、数据库初始化工具、数据迁移工具、数据 库调度管理工具、数据库监控工具、控制管理器、命令行工具等。能够极大方面数据库管理员以及开发人员的使用及管理。

  金仓数据库KingbaseES基于MVCC(多版本并发控制)机制、支持事务、REDO日志功能,通过联机事务日志优先写等机制保证数据库在面对数据库所 在机器崩溃、操作被强制终止等情况下保证事务数据的一致性、完整性以及事务的可恢复性。KingbaseES支持物理联机备份及逻辑备份还原功能,并在此 基础上可实现数据库的自动备份功能等解决方案,通过作业调度系统或操作系统提供的计划任务模块,提供周期性的自动备份功能。应用可以按照配置的备份周期和 备份位置自动执行数据库的备份工作,提高了系统的可靠性,也减轻了系统的运行维护成本。;KingbaseES同时支持双机热备、Standby等高可 靠、高可用解决方案。

  金仓数据库KingbaseES提供数据迁移工具,可将异构数据库平滑迁移至KingbaseES,在本项目中主要是针对ORACLE数据库迁移,将前期基于ORACLE数据库上开发的应用程序及初始数据,已平滑迁移至金仓数据库KingbaseES。

  金仓数据库率先通过公安部结构化保护级(第四级)的安全认证并获得销售许可证,成为第一家获得该标准认证的国产数据库企业。KingbaseES完整实现包 括形式化证明、多重身份鉴别、入侵检测与报警、可信路径、推理控制、隐蔽信道分析等全部结构化保护级(第四级)所要求的技术和功能要求,在身份鉴别、用户 权限,以及数据访问、存储和传输等方面的系统性安全重构提高了数据库系统的整体安全性,可以从容应对复杂多样的数据安全管理的业务场景,保障敏感数据的安 全。

  (三)业务挑战

  在 试点省份业务系统对KingbaseES数据库的相关业务操作主要集中在保存相关机具设备信息,绑定卡号属性信息,记录交易流水、记录业务相关日志,柜员 操作日志信息等,面向前期投入预设置的500台交易终端,数据库会持续地接受并发的增删改查操作,对管理者,根据数据库中数据对系统进行交易查询,月度报 表等功能,需要在大数据量基础上进行大量复杂的多表连接、排序、聚集查询运算等对系统性能要求较高的操作,在北京农行部署的CA系统服务器上的数据库则需 能保证对系统授权管理的认证部分的业务操作能够持续正常运行,对稳定性有较高要求,不可因为CA服务器的不稳定对整个交易系统造成影响。结合整个系统的整 体情况,需要数据库要有很高的稳定性和可靠性,以及良好的性能。面对较大并发的压力下,需要能够7*24小时持续进行正常业务操作,并且能够保证数据的一 致性、完整性和安全性。

  方案部署及特点

  (一)整体架构

  部署地点分试点省市农行运行中心和北京农行运行中心两个地点,系统拓扑图如下图所示:

  如图所示,试点省份机房部署业务系统、北京机房部署CA系统,并应用实施相关数据库,在红旗Linux镜像方式HA高可用解决方案上安装部署数据库。试点省 份下设部署的交易终端会通过网络宽带线路或电话线路连接系统,试点省份机房中对应部署的服务器为:交互服务器、监控服务器、授权服务器、授权监控服务器、 授权服务器代理、签名验签服务器等。

  通过系统业务分发到不同服务器,其中对业务系统事务操作会连接部署在省农行运行中心的业务系统,认证操作事务,会分发事务连接到北京机房CA系统服务器上, 获取认证后返回信息继续进行相关操作。交易操作事务则会通过分发连接到渠道后台,通过渠道后台连接到银行后台再连接到银行数据中心的核心交易系统完成交易 返回,业务系统记录保存相关信息。

  (二)系统部署相关软件:

  红旗redflag linux AS3 操作系统,及镜像方式HA集群方案。

  金仓数据库KingbaseES V6.1。

  金蝶中间件Apusic V6.0

  IBM CICS Transaction Gateway V6.0.2

  (三)数据库部署结构

  在业务生产系统上,通过HA高可用软件,可监控KingbaseES数据库服务,在主机上数据库服务发生意外终止等情况时,能够将业务切换到备机上运行,保 证系统的高可用性,也同时保证数据在两台服务器上的冗余备份,另外通过备份服务器上制作的数据库备份计划,每日凌晨两点开始自动备份生产系统上的生产数据 至备份服务器,保证系统在发生最严重数据损坏时,还能在备份数据库上找到系统崩溃时当前凌晨2点之前的备份的所有数据。在管理员机器上部署数据库管理工具 则是方便管理员对系统进行远程管理等操作。

  (四)系统界面

  目前该项目金仓数据库在试点省份已完成部署工作,并在试点省份数据中心成功上线稳定运行,接受系统日常交易,在系统中KingbaseES已在以下主要方面得到了应用:

  成功将原基于Oracle数据库上开发的系统成功移植到KingbaseES数据库上,要求KingbaseES需对Oracle具有良好的兼容性,以及需提供功能完备的迁移工具及迁移方案。整个移植过程已结束并已通过测试人员测试以及生产业务的正式测试。

  大型数据库所需具有的功能全面性及通用性,在项目后阶段开发功能中,KingbaseES保证提供良好的通用性功能,以及项目对数据库已有的特殊要求,满足客户及开发者对系统功能的开发。

  大数据量的批量导入、导出功能,多格式的导入导出方式,使系统实现每日与银行主机传入数据的自动对账功能。

  数据库高效、稳定运行。同时数据库具有高安全性;金仓数据库KingbaseES率先通过公安部结构化保护级(第四级)的安全认证并获得销售许可证,和国际 标准相比,安全四级近似等同于TCSEC/TDI的B2级,CC的EAL5级。这意味着以金仓数据库为代表的国产数据库的安全级别已经超越了国外同类数据 库产品,这对构建我国自主可控的信息安全体系具有重大意义。


作者:  李伟 

来源: IT168

原文标题:挑战大数据 金仓助力三农自助支付系统

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
14天前
|
数据采集 存储 数据处理
数据平台问题之知识管理系统的效果如何评估
数据平台问题之知识管理系统的效果如何评估
|
9天前
|
分布式计算 DataWorks 关系型数据库
MaxCompute 生态系统中的数据集成工具
【8月更文第31天】在大数据时代,数据集成对于构建高效的数据处理流水线至关重要。阿里云的 MaxCompute 是一个用于处理大规模数据集的服务平台,它提供了强大的计算能力和丰富的生态系统工具来帮助用户管理和处理数据。本文将详细介绍如何使用 DataWorks 这样的工具将 MaxCompute 整合到整个数据处理流程中,以便更有效地管理数据生命周期。
28 0
|
3月前
|
分布式计算 Hadoop 分布式数据库
Hadoop生态系统介绍(二)大数据技术Hadoop入门理论系列之一----hadoop生态圈介绍
Hadoop生态系统介绍(二)大数据技术Hadoop入门理论系列之一----hadoop生态圈介绍
134 2
|
15天前
|
存储 SQL 分布式计算
Hadoop生态系统概述:构建大数据处理与分析的基石
【8月更文挑战第25天】Hadoop生态系统为大数据处理和分析提供了强大的基础设施和工具集。通过不断扩展和优化其组件和功能,Hadoop将继续在大数据时代发挥重要作用。
|
16天前
|
分布式计算 搜索推荐 物联网
大数据及AI典型场景实践问题之通过KafKa+OTS+MaxCompute完成物联网系统技术重构如何解决
大数据及AI典型场景实践问题之通过KafKa+OTS+MaxCompute完成物联网系统技术重构如何解决
|
16天前
|
人工智能 分布式计算 架构师
大数据及AI典型场景实践问题之基于MaxCompute构建Noxmobi全球化精准营销系统如何解决
大数据及AI典型场景实践问题之基于MaxCompute构建Noxmobi全球化精准营销系统如何解决
|
17天前
|
存储 监控 安全
大数据架构设计原则:构建高效、可扩展与安全的数据生态系统
【8月更文挑战第23天】大数据架构设计是一个复杂而系统的工程,需要综合考虑业务需求、技术选型、安全合规等多个方面。遵循上述设计原则,可以帮助企业构建出既高效又安全的大数据生态系统,为业务创新和决策支持提供强有力的支撑。随着技术的不断发展和业务需求的不断变化,持续优化和调整大数据架构也将成为一项持续的工作。
|
1月前
|
存储 数据可视化 大数据
基于Python Django的大数据招聘数据分析系统,包括数据大屏和后台管理
本文介绍了一个基于Python Django框架开发的大数据招聘数据分析系统,该系统具备后台管理功能和数据大屏展示,利用大数据技术收集和分析招聘市场趋势,帮助企业和招聘机构提高招聘效率和质量。
|
2月前
|
分布式计算 安全 大数据
HAS插件式Kerberos认证框架:构建安全可靠的大数据生态系统
在教育和科研领域,研究人员需要共享大量数据以促进合作。HAS框架可以提供一个安全的数据共享平台,确保数据的安全性和合规性。
|
2月前
|
存储 分布式计算 数据可视化
ERP系统中的大数据分析与处理:驱动企业智能决策
【7月更文挑战第29天】 ERP系统中的大数据分析与处理:驱动企业智能决策
101 0

热门文章

最新文章