招商银行数据分析平台的前生今世

简介: 招商银行数据分析平台的前生今世


近日,招商银行研发中心高级架构师陈翔莅临观远数据2022智能决策峰会,带来《基于数据驱动的招行数字化应用实践》主题分享,详细介绍了招商银行「圆方数据分析平台」建设的前世今生。从用户痛点需求到“让业务用起来”的企业价值,从平台技术建设到运营推广,从应用现状到升级规划,深度讲解招商银行领先的数据分析平台建设经验,为更多期望实现“数据驱动”的企业提供路径参照。

以下为招商银行研发中心高级架构师陈翔的演讲实录:01.让业务用起来的企业价值本次峰会的主题是“让业务用起来”,我认为这个观点背后隐含了两个重要的事情:第一,你必须能够通过某些手段解决用户在用数过程中遇到的切实痛点;第二,这些解决用户用数痛点的手段必须能够让用户用数的门槛降下来,让用户用数更加方便,能够快速敏捷的形成产出。

总而言之,业务要能够自主的把数据用起来,一定是能够感受到数据对他们的工作带来了帮助和便利,甚至能够直接提升他们工作的成效。从招行以前的实际用数场景来看,用户用数的最主要痛点主要是以下几个方面:

  • 数据分散:数据太多太分散。想用的数据不知道在哪里,也不知道找谁要,并且数据的使用上还存在着一些“竖井”的现象;
  • 手工数据:以往一线业务用户更习惯使用Excel工具来进行数据分析工作,数据散落在不同的Excel文件里,很难进行安全以及数据质量的管控,以及复用和共享;
  • 迭代更新慢:以往报表开发的工作模式是IT根据业务需求进行报表制作,银行的业务特点是数据口径复杂多样,需求更新变化快、多,IT很难快速响应业务的变化;
  • 取数过程曲折:数据要流转到真正用数的同事手中,面临了各种各样的障碍,比如技术门槛高、数据申请流程长、沟通成本高,总之就是过程太长,耗时耗力。

意识到存在这些问题后,招商银行在2018年开始打造一整套面向分行的IT和业务用户自主用数的平台和工具,内部称之为「分行数据云」,助力全行用户在数据分析方面全流程实现低门槛、可视化、全自助,让业务真正把数据用起来。扫描文末二维码获取全部PPT这一整套完整的数据分析平台和工具借助了观远数据BI的能力,和观远数据一起共建了「圆方数据分析平台」,作为「分行数据云」中承上启下的重要部分。经过几年的发展,「圆方数据分析平台」已经成长为其中最重要的平台之一。02.  圆方平台的前世今生

圆方平台的建设过程也很曲折。招行其实从很早以前就有建设数据仓库和大数据平台,但主要是面向总行级的部门和团队使用,招行分行一线业务中台人员其实很难享受到技术带来的变革和创新。44家分行各自建设以及运维本地的数据仓库,总行在ACS私有云的支持下,构建了一整套面向分行的大数据云化服务,作为全部44家分行统一的核心数仓定位存在。

在2018年规划整个分行数据云服务的初期,我们也和很多分行进行过调研和沟通。分行用数普遍存在一些共性的痛点,比如业务人员无法自主用数,缺乏完整的、体系化的一体化数据开发平台等等。基于这些背景,总行架构管理团队研究了大数据领域的发展趋势,且正好赶上招行自己内部私有云建设的时机,适时地提出了大数据云化这样一条创新服务的模式。

「分行数据云」项目从2018年11月启动以后,经过9个月的建设过程,第一版于2019年8月上线,并在2020年3月进行了全行推广使用。在接下来的两年多的持续迭代过程中,活跃用户数已经超过4万人,基本实现了数据平民化的使用,也说明一线人员对于“自主用数”这种模式的认可。

03.  数字化平台介绍

前面简单介绍了招行数据云的建设历程,接下来将具体分享一下数据云平台是如何做到让业务自主用数的。

通过「分行数据云」,我们为分行提供了高效便捷的用数体验,圆方平台更成为了分行数据工作的主战场。目前:

  • 平台月活用户数已经达到4.2万规模;
  • 平台在分行的渗透率达到80%
  • 月均访问次数600万+

回过头再来看看以往的用数模式,经过用户的申请,然后审批提数,最后才能到业务人员手中进行数据分析工作。而现在业务人员自主在平台上进行数据分析工作,已经完全摆脱了以往流程上的一些束缚,效率大大提升。据我们统计,一项数据分析工作从以前的平均5个工作日缩减到了目前的1个小时在平台的技术建设方面,我们主要关注到以下四个方面:

  • 技术架构:以大数据的开源组件Spark为核心,构建了一整套可扩展的技术架构,通过多实例部署,实现圆方平台的高可用;利用ClickHouse的核心技术,打造了极致的查询体验,目前平台上面93%的查询能够在3秒内完成。
  • 平民用数:实现拖拉拽式的ETL以及数据分析,所见即所得,大大降低了用户的用数门槛。实现多终端适配,支持移动应用免APP的部署,降低用户侧产出的难度。实现了通过订阅和预警有效触达一线用户,实现数据分析全链路的内容资产化,降低用户在数据分析各个环节的使用门槛。
  • 开放融合:支持多种类型的数据源接入,支持通过数据API服务赋能下游应用,从而拓展更多的使用场景。我们对接了分行常用的一些数据应用,并且支持外部的系统对于产品功能进行封装和融合,打通了数据支持应用的一个通道。
  • 安全管理:满足多场景的数据分发需求,满足多网段数据使用的安全需求,集成了行内的安全审批各项流程。

能达到全部分行全面自主用数的目标,光有平台我们觉得是不够的。在这几年的推广工作的过程中,我们深刻意识到随着平台的不断推广,数据使用的需求不断增多,我们需要帮助用户更快速的成长,获取对应的数据分析技能,提升用户的数字化思维,同时也能够帮助用户快速解决数据分析工作中的各类问题。扫描文末二维码获取全部PPT为此,我们专门投入了运营资源,希望通过对分行的运营支持工作全面统筹,协调规划分行在用数方面的痛点、问题、诉求和解决方案。通过运营工作的推动,用户个人单兵作战能力以及数据协同能力不断提升,切实解决了业务中台人员自助分析数据的障碍,以及一线人员用数的障碍,形成了全行范围内的用数文化,构建了数据驱动型的组织。04.  未来展望我们的平台和运营工作进展到今天,其实感觉到后续的工作会更加艰巨。我们的目标也不仅仅是让业务把数据用起来,还要让业务把数据用好。因此,我们的平台和服务将会在以下五个方面持续升级

  • 构建一站式平台,端到端方案:从数据汇集到数据治理,到数据存储,到可视化分析,到多终端平台展现以及到订阅分发,通过一个平台一站式搞定。
  • 可视化、零代码:无论是数据处理还是可视化分析,还是页面的展示逻辑,全部通过拖拽式的操作,所想即所见,所见即所得。
  • 云原生,高性能:基于云原生架构,支持从单点到上千节点的超大集群的伸缩部署,满足不同数据规模、不同数据时效的各类场景。
  • 多终端适配,丰富场景支持:顺应大数据技术的发展潮流,移动应用免APP部署,大中小屏幕快速适配。
  • 走进业务,赋能业务:运营工作更加接地气,更加贴近用户的实际诉求,推动IT和业务的全面融合,赋能业务。

最后总结一下,只有降低数据分析的使用门槛,降低一线业务人员使用数据的技术难度,加大数据分析人员自主用数的积极性,才能让一线数据人员便捷高效地产出数据成果,提高产能。真正做到数据驱动业务,体现出数据的真正价值。

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
8月前
|
数据可视化 数据挖掘 大数据
Pandas+Pyecharts | 北京某平台二手房数据分析可视化
Pandas+Pyecharts | 北京某平台二手房数据分析可视化
|
5月前
|
人工智能 Cloud Native 大数据
构建高性能云原生大数据处理平台:融合人工智能优化数据分析流程
构建高性能云原生大数据处理平台:融合人工智能优化数据分析流程
193 0
|
2月前
|
存储 分布式计算 数据挖掘
Pig 数据分析平台
Pig 是一个基于 Hadoop 的数据分析平台,它是由 Yahoo! 开发并捐献给 Apache 软件基金会的一个开源项目。Pig 起源于 Yahoo! 的广告业务部门,旨在处理大规模数据并支持数据分析。【2月更文挑战第5天】
25 5
|
4月前
|
传感器 监控 安全
实时监控、数据分析、智能管理的智慧工地平台(源码)
智慧工地是指通过信息化技术、物联网、人工智能技术等手段,对建筑工地进行数字化、智能化、网络化升级,实现对施工全过程的实时监控、数据分析、智能管理和优化调控。智慧工地的建设可以提高工地的安全性、效率性和质量,降低施工成本,是建筑行业数字化转型升级的重要抓手。主要围绕“人、机、料、法、环、质、安、进”各业务环节的智能化、互联网化管理,提升建筑工地的精益生产管理水平。
实时监控、数据分析、智能管理的智慧工地平台(源码)
|
7月前
|
数据采集 数据挖掘 测试技术
Gartner:实施混合式数据分析平台的三个步骤
Gartner:实施混合式数据分析平台的三个步骤
|
7月前
|
存储 机器学习/深度学习 运维
课时1:日志服务 SLS 可观测数据分析平台介绍
课时1:日志服务 SLS 可观测数据分析平台介绍
335 0
|
7月前
|
存储 人工智能 数据可视化
伙伴云连续2年入选Gartner《中国分析平台市场指南》,数据分析能力遥遥领先
伙伴云作为中国分析与商业智能平台代表性厂商,因出色的数据分析能力,入选Gartner2023《中国分析平台市场指南》(《Market Guide for Analytics Platforms, China》,以下简称“指南”),成为入选该报告中唯一一家零代码厂商。
98 0
|
7月前
|
SQL 关系型数据库 MySQL
边锋 x AnalyticDB MySQL:打造一站式游戏数据分析平台
杭州边锋网络技术有限公司是国内领先的休闲游戏开发商、运营商、发行商。20余年来,边锋网络一直是中国棋牌游戏的开拓者和变革者。  边锋网络市场覆盖20余个省份,注册用户过亿,月活跃用户上千万,是国家级重点软件企业(一类)。公司大数据分析系统"反应堆"目前支持着包括雀神广东麻将、边锋斗地主、蜀山四川麻将、功夫川麻等10余款休闲游戏产品;
|
8月前
|
SQL 安全 搜索推荐
瓴羊Dataphin升级V3.11,新上线数据分析、隐私计算平台促进数据流通消费
瓴羊旗下开发云核心产品Dataphin(智能数据建设与治理)近期升级到V3.11版本,全新上线Notebook数据分析空间,以及Dataphin隐私计算平台,在数据采、建、管、用的基础上,进一步强化数据消费和数据流通能力,帮助企业用标准化的产品能力,在大数据时代构建起生产经济、质量可靠、安全稳定、消费便捷的企业级数据资产,促进数据价值释放。
14339 3
|
9月前
|
人工智能 供应链 数据可视化
电子商务平台市场动向的数据分析平台:阿里商品指数,包括淘宝采购指数,淘宝供应指数,1688供应指数。
电子商务平台市场动向的数据分析平台:阿里商品指数,包括淘宝采购指数,淘宝供应指数,1688供应指数。
电子商务平台市场动向的数据分析平台:阿里商品指数,包括淘宝采购指数,淘宝供应指数,1688供应指数。