银行大数据:非hadoop的架构证明

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 欢迎持不同意见的朋友留言讨论。   为啥写这文章呢?很多人都认为,银行在大数据方面应用落后,如何跟不上时代,说是支付宝都去“IOE”了,都推出余额宝了,银行是否除了雇人出来说余额宝的坏话就没啥能耐了等等巴拉巴拉巴拉。


 

为啥写这文章呢?很多人都认为,银行在大数据方面应用落后,如何跟不上时代,说是支付宝都去“IOE”了,都推出余额宝了,银行是否除了雇人出来说余额宝的坏话就没啥能耐了等等巴拉巴拉巴拉。但是,笔者真的不是这样的认为的。


首先,银行的IT系统非常跟的上时代。如果论国内的信息化水平,银行的绝对算是数一数二,甚至直接就是数一。哪个公司敢站出来说自己的信息化比银行这个行业好?单独看看那些提供IT技术服务的公司(俗称“外包”,卖人头)就能知道,这个行业吸收了太多的IT从业人员。如果农行不买外协服务,就如同联通拿掉省级精分数据仓库一样,不知道要死多少家IT公司。


先看看工行。不久前,前工行杨凯生先生弄了一篇大论,深刻见底。足见银行IT之威武雄壮。
现在工行有17000余家营业机构,但目前通过网上银行、电话银行、手机银行、自助银行等渠道处理的业务量已占到全部业务量的78%,相当于替代了30000多个物理网点。工行自主研发的核心应用系统支撑了海内外庞大经营网络的平稳运行,目前日均业务量为2亿笔,每秒处理业务的峰值达到6500笔。2012年全年的电子支付结算金额达到332万亿元人民币,结算笔数超过了130亿笔。


而对海量的各类数据,工商银行通过多年的努力,已经搭建起了以数据仓库为核心的经营管理数据体系,实现了客户信息、账户信息、产品信息、交易信息、管理信息等的集中管理,形成了数据标准、数据质量、数据架构、元数据、数据生命周期、数据安全以及数据应用等全流程的数据信息管理机制。积累的数据规模将近300个TB,利用这些数据,建立了4.1亿个人客户和460万法人客户的信息视图和星级评价体系,开发了34个法人客户评级模型、75个零售信用评分模型、16项市场风险内部计量模型和17类操作风险资本计量模型。客户违约率和违约损失率数据的积累长度均在10年以上,已达到巴塞尔资本管理协议Ⅲ的要求。工商银行还建立了独立的模型验证团队,对数据应用的有效性、准确性进行持续验证和监控,内部审计部门对验证情况进行审计。


工商银行早在上世纪90年代就开始将客户评级结果用于信贷准入和贷后监测,2005年开始按照新资本协议的最新要求对信用评级方法、系统与流程进行了全面优化,2008年开始将风险计量结果用于风险管理全流程,2010年起进一步将有关结果正式用于贷款质量分类、拨备计提和经济资本分配,并在此基础上开始实施法人业务和零售业务的RAROC(风险调整后的资本收益率)管理,实现了按风险与收益均衡的原则进行授信审批和定价。就拿最近媒体热炒的网络信贷而言,截至今年8月末,工商银行以小微企业为主要服务对象的“网贷通”的贷款余额已超过2150亿元,累放额已近11000亿元。


如果,你对上述表述依然不认为工行大数据的能力强的话,请自动退出阅读。
有人说了,为啥支付宝有那么牛的技术架构云云,殊不知,如果不是银行开放支付的接口,支付宝的钱存到哪里都成问题啊。不要忘了,支付宝是不能经营银行业务的哟。


再看看招行,股份行中的翘楚。主供零售业务。其IT的相关架构也是气势磅礴。早在1998年,招行就开始了数据仓库的建设。1998年,招商银行、奥尊电脑公司、SYBASE公司经过几个月的共同协作,联合开发招行数据仓库系统,包括人事、储蓄、会计等系统,成为国内业界第一个成功可用的数据仓库系统。98年的数据仓库,数据容量就有156GB。随着业务的发展,特别是网银的建设,数据仓库的相关的数据仓库的系统有了IBM的产品和Teradata的产品。也走上了数据仓库的建设道路。现在招行的微信银行+网银+数据仓库的架构也是标杆性的项目。具体的数据规模还没拿到,但肯定不会太怂。


银行对数据的整合利用并实现数据价值,都是基于数据仓库的架构和核心理念,在早期的运营中,有了先发的比较优势,但是,随着对私客户市场的兴起,互联网为首的公司还是带来了一定的冲击,但是银行还是在数据仓库上越做越好。因为,互联网抓高净值客户的能力还很有限。传统架构的数据仓库依然在银行内扮演重要角色。Teradata的产品卖的好就是明证。 

.

原文发布时间为:2014-03-13


本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“BigDataDigest”微信公众号

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
2月前
|
存储 SQL 监控
数据中台架构解析:湖仓一体的实战设计
在数据量激增的数字化时代,企业面临数据分散、使用效率低等问题。数据中台作为统一管理与应用数据的核心平台,结合湖仓一体架构,打通数据壁垒,实现高效流转与分析。本文详解湖仓一体的设计与落地实践,助力企业构建统一、灵活的数据底座,驱动业务决策与创新。
|
4月前
|
负载均衡 算法 关系型数据库
大数据大厂之MySQL数据库课程设计:揭秘MySQL集群架构负载均衡核心算法:从理论到Java代码实战,让你的数据库性能飙升!
本文聚焦 MySQL 集群架构中的负载均衡算法,阐述其重要性。详细介绍轮询、加权轮询、最少连接、加权最少连接、随机、源地址哈希等常用算法,分析各自优缺点及适用场景。并提供 Java 语言代码实现示例,助力直观理解。文章结构清晰,语言通俗易懂,对理解和应用负载均衡算法具有实用价值和参考价值。
大数据大厂之MySQL数据库课程设计:揭秘MySQL集群架构负载均衡核心算法:从理论到Java代码实战,让你的数据库性能飙升!
|
3月前
|
存储 SQL 分布式计算
19章构建企业级大数据平台:从架构设计到数据治理的完整链路
开源社区: 贡献者路径:从提交Issue到成为Committer 会议演讲:通过DataWorks Summit提升影响力 标准制定: 白皮书撰写:通过DAMA数据治理框架认证 专利布局:通过架构设计专利构建技术壁垒
|
6月前
|
XML 存储 分布式计算
【赵渝强老师】史上最详细:Hadoop HDFS的体系架构
HDFS(Hadoop分布式文件系统)由三个核心组件构成:NameNode、DataNode和SecondaryNameNode。NameNode负责管理文件系统的命名空间和客户端请求,维护元数据文件fsimage和edits;DataNode存储实际的数据块,默认大小为128MB;SecondaryNameNode定期合并edits日志到fsimage中,但不作为NameNode的热备份。通过这些组件的协同工作,HDFS实现了高效、可靠的大规模数据存储与管理。
546 70
|
2月前
|
消息中间件 分布式计算 大数据
“一上来就搞大数据架构?等等,你真想清楚了吗?”
“一上来就搞大数据架构?等等,你真想清楚了吗?”
52 1
|
3月前
|
架构师 Oracle 大数据
从大数据时代变迁到数据架构师的精通之路
无论从事何种职业,自学能力都显得尤为重要。为了不断提升自己,我们可以尝试建立一套个性化的知识目录或索引,通过它来发现自身的不足,并有针对性地进行学习。对于数据架构师而言,他们需要掌握的知识领域广泛而深入,不仅包括硬件、网络、安全等基础技术,还要了解应用层面,并熟练掌握至少一门编程语言。同时,深入理解数据库技术、具备大数据实操经验以及精通数据仓库建模和ELT技术也是必不可少的。只有这样,数据架构师才能具备足够的深度和广度,应对复杂的业务和技术挑战。 构建个人知识体系是数据架构师在学习和工作中的一项重要任务。通过系统化、不断深化的知识积累,数据架构师能够有效应对快速变化的商业环境和技术革新,进一
|
6月前
|
存储 分布式计算 Hadoop
从“笨重大象”到“敏捷火花”:Hadoop与Spark的大数据技术进化之路
从“笨重大象”到“敏捷火花”:Hadoop与Spark的大数据技术进化之路
279 79
|
4月前
|
人工智能 Cloud Native 容灾
深圳农商银行三代核心系统全面投产 以云原生架构筑牢数字化转型基石
深圳农商银行完成第三代核心系统全面上云,日均交易超3000万笔,峰值处理效率提升2倍以上。扎根深圳70余年,与阿里云共建“两地三中心”分布式云平台,实现高可用体系及全栈护航。此次云原生转型为行业提供可复制样本,未来将深化云计算与AI合作,推动普惠金融服务升级。
344 17
|
5月前
|
SQL 分布式数据库 Apache
网易游戏 x Apache Doris:湖仓一体架构演进之路
网易游戏 Apache Doris 集群超 20 个 ,总节点数百个,已对接内部 200+ 项目,日均查询量超过 1500 万,总存储数据量 PB 级别。
433 3
网易游戏 x Apache Doris:湖仓一体架构演进之路
|
5月前
|
负载均衡 算法 关系型数据库
大数据新视界--大数据大厂之MySQL数据库课程设计:MySQL集群架构负载均衡故障排除与解决方案
本文深入探讨 MySQL 集群架构负载均衡的常见故障及排除方法。涵盖请求分配不均、节点无法响应、负载均衡器故障等现象,介绍多种负载均衡算法及故障排除步骤,包括检查负载均衡器状态、调整算法、诊断修复节点故障等。还阐述了预防措施与确保系统稳定性的方法,如定期监控维护、备份恢复策略、团队协作与知识管理等。为确保 MySQL 数据库系统高可用性提供全面指导。

热门文章

最新文章