蚂蚁智能化中台:驱动业务高速发展的飞轮

简介: 在金融科技行业,智能中台已经成为提升业务创新能力的重要支撑,正不断以数据资产驱动业务创新,全方位、多角度地重塑产业链。

在金融科技行业,智能中台已经成为提升业务创新能力的重要支撑,正不断以数据资产驱动业务创新,全方位、多角度地重塑产业链。


“你敢付、我敢赔”和大促秒杀的背后,是数字化支付平台利用图数据库和虚拟化引擎的开放计算架构,是计算存储效率的极致优化,是端到端智能化中台的建构。


蚂蚁集团计算存储首席架构师何昌华(萧河)先生,在最近结束的2021阿里云金融数据智能峰会上发表名为《蚂蚁智能化中台建设的实践与展望》的演讲。讲述了支付宝“大促秒杀”和“你敢付、我敢赔”背后的技术底蕴,分享端到端的智能中台如何在提升业务灵活性的同时兼顾金融风控。

11.jpg


以下为他的演讲全文:

01“大促秒杀”背后的高性能账务数据库


蚂蚁脱胎于支付宝,是从支付业务开始的。随着互联网的发展,交易规模急速增加,这对系统背后的计算能力产生了很大的挑战。此前,通过分布式的数据库和服务解决了数据和计算规模化的问题,支撑起了蚂蚁的业务规模。然而近两年,直播带货等互联网商业模式开始兴起,出现了大促秒杀等支付场景。在这些支付场景中,买家都是跟同一个账号进行交易,这就使得系统需要在同一个账号上进行高频操作,产生了热点账户问题。

传统的解决方案是削峰填谷,即指同一个账户接收到交易请求后进行记账,如果是在单机能够处理的能力范围以内就直接记,否则加入缓存队列,等账户空闲时再实现完整的一致性处理。这个方案存在以下问题:

  • 无法精准对账户配置缓存队列
  • 账务缓存有可能超出账户本身余额,出现资金损失等风险

    22.jpg


为了系统性地解决这些问题,蚂蚁进行了突破性创新,设计研发了高性能账务数据库。

  • 账务逻辑下沉:余额检查及转账逻辑下沉,减少应用事务
  • 无锁一致性:单账户处理在单核CPU按照网络顺序执行指令,无锁一致性保证
  • 网络、存储IO优化:减少10倍延迟,针对硬件特性编写,底层代码及库函数使用C及汇编,微秒级数据访问

这一数据库最终实现热点账户处理2万TPS。从业务发展的角度考虑,其实2万这个数值,仍然不是特别保险,所以在这一块蚂蚁有一个更高的目标,我们希望可以达到物理极限

33.png

02

虚拟化引擎保障复杂支付网络


如下图所示,在支付场景里还涉及支付工具和支付渠道的选择,这需要考虑支付渠道本身容量是否足够、是否健康等各类合规要求,是典型的大数据实时决策问题。

举个例子,2020年某省的支付链路由于光纤被挖断,导致支付渠道很多指标都发生了异常,业务需要分析数据定位44.png异常原因,尽快调整支付链路,遇到了如下挑战:

  • 异常分析下钻维度受限制,维度多,无法实时任意维度交互式分析
  • 离线指标实时化需二次开发,无法复用已有离线任务
  • 单引擎性能受限,长时间窗口实时指标无法通过单流作业计算,需手工拆分成流和批作业的组合



为了解决这些问题,蚂蚁内部建立了一整套全网监控的指标体系,通过流批协同、虚拟化和自动优化,建立分布式结构化存储引擎。这一虚拟化引擎实现了任意维度下钻、指标一键实时化和长时间窗口的指标自动完成计算,从而保证了支付链路的安全稳定。

55.png

03

持续策略智能化“你敢付,我敢赔”


支付业务中,除了支付行为本身,另一个重要的课题就是伴随着支付行为的风险控制,蚂蚁在这方面也做了很多工作,针对近年高发的未成年人诈骗场景,采用了智能策略方案。通过分析数据自动产生特征,组合不同的特征和阈值自动产生策略,然后推荐给策略专家进行评估,最后上线。

66.png


分享一个诈骗实例:付款账户年龄大于28,在过去很短时间内有几笔付款码刷新的行为,收款账户存在一定的交易失败记录。这看起来是很正常的,策略专家也很难想到要设置这样的规则,但通过智能化的数据挖掘,发现这是一个被诈骗的账户。执果索因,在未成年人诈骗场景中,小朋友可能在不法分子的影响下,打开父母的付款码截图发送出去,由于操作不熟练产生多次刷新行为,同时付款码具有时效性,不法分子账户就容易发生多次交易失败的情形,在短期累积一定交易失败金额。这些看似不经意的东西,策略专家是较难发现的,系统则可以借助智能化的手段找到并确定合理的阈值。整个智能策略系统具有较好的金融属性:

  • 策略生成过程强可控:机器智能推荐,专家经验精确调节,结果具备强可解释性
  • 智能化策略组合快速响应:分布式算法执行支持策略快速且智能的探索,支持十亿量级以上大数据小时内完成挖掘规则
  • 评估指标多样,支持多目标学习,自定义评估指标

目前在蚂蚁所做的工作里,已经可以做到特征自动发现,策略智能生成并且可解释。未来我们希望从自动特征,智能策略,到模型可解释和归因分析,整体是一套闭环、自动化的系统,端到端地实现智能化特征和策略选择。这样一个大的闭环其实需要的算力无比巨大,整个状态空间是爆炸型的,对于这方面我们仍然在探索。

04

全栈图计算体系深挖数据关联价值


随着业务和技术的的不断发展,智能中台对于数据的挖掘也从线性结构走向图结构。比如支付风控中的反洗钱场景,目前反洗钱主要的挑战在于,不法分子通过“跑分平台”,租借合法账户,使得大量原有正常账户参与到黑灰产交易中。同时,他们通过海量交易、艺术品拍卖等手段来掩盖洗钱行为,采用多重身份、大量账号等方式来避开可疑规则筛查。这就对遏制反洗钱行为的时效性和精准性提出了很高的要求。

最初的做法是,针对单个记录或单个账户进行分析,找到高危特征,设计策略和模型,判断是否是洗钱账户。但是目前,研究单个账户已经解决不了问题,必须在一个更大更全局的范围内研究所有账户的连接情况以及交易资金的流转情况才有可能判断出风险。因此,图计算,图存储,图机器学习成为了解决这一问题的强大武器。蚂蚁在这方面做了非常大的投入。目前,在反洗钱领域,图计算覆盖支付宝全部资金交易,对疑似团伙类犯罪风险识别能力提高94倍以上,风险审理分析效率提升90%。

77.png


蚂蚁在图计算这个领域沉淀了接近5年,现在将图数据库、图计算、图神经网络模型等一系列围绕着图数据展开,对图数据进行存储、分析、演化的智能技术体系的能力整合起来,打造了一个产品GeaGraph。GeaGraph具备着世界领先的图技术能力。

  • 拥有着世界规模领先的图数据库集群:
  • 图数据库性能基准测试世界纪录保持者,领先第二名7.6倍
  • 具备在线(领先)、近线(创新)、离线(领先)三线计算能力
  • 时序图计算是2021金融十大科技趋势之一
  • 基于GeaGraph的图神经网络模型刷新斯坦福Open Graph Benchmark世界记录

    05
    智能中台助力业务“自动驾驶”

整体来看,蚂蚁智能中台在业务和技术的不断发展中,渐渐沉淀出蚂蚁计算存储的大底盘。


未来,我们希望打造一个端到端的智能化中台,既有数据和特征的研发,也有策略和模型的训练,既有具备金融特色的运筹优化求解,又有模型的模拟仿真和验证,还能对生成的模型进行解释和归因。最后获得反馈,不断迭代优化。我们希望把这样一个闭环打通,实现数据的智能实时决策。到那时,就能够实现金融业务的“自动驾驶“,从而助力业务飞速发展。我相信,这也应该是整个金融科技行业演进的大方向。


金融行业一直是科技的领跑者,让科技的力量赋能金融行业发展,让金融业务驱动技术的创新。


谢谢大家!


99.png

(作者介绍)

相关实践学习
阿里云图数据库GDB入门与应用
图数据库(Graph Database,简称GDB)是一种支持Property Graph图模型、用于处理高度连接数据查询与存储的实时、可靠的在线数据库服务。它支持Apache TinkerPop Gremlin查询语言,可以帮您快速构建基于高度连接的数据集的应用程序。GDB非常适合社交网络、欺诈检测、推荐引擎、实时图谱、网络/IT运营这类高度互连数据集的场景。 GDB由阿里云自主研发,具备如下优势: 标准图查询语言:支持属性图,高度兼容Gremlin图查询语言。 高度优化的自研引擎:高度优化的自研图计算层和存储层,云盘多副本保障数据超高可靠,支持ACID事务。 服务高可用:支持高可用实例,节点故障迅速转移,保障业务连续性。 易运维:提供备份恢复、自动升级、监控告警、故障切换等丰富的运维功能,大幅降低运维成本。 产品主页:https://www.aliyun.com/product/gdb
相关文章
阿里巴巴发布《城市数字孪生能力平台总体技术要求》企业标准, 促进数字孪生互联互通生态建设
2023年3月21日,阿里巴巴集团举办城市数字孪生企业标准发布及研讨会,发布了《城市数字孪生能力平台总体技术要求》企业标准。
阿里巴巴发布《城市数字孪生能力平台总体技术要求》企业标准, 促进数字孪生互联互通生态建设
|
3月前
|
运维 Devops 中间件
核心系统转型问题之核心应用技术平台搭建包括什么
核心系统转型问题之核心应用技术平台搭建包括什么
|
6月前
|
机器学习/深度学习 人工智能 自然语言处理
智子引擎的产业应用指南:让大模型下沉到生产一线
在大模型吹响产业化号角半年后,整个行业开启了一场披沙沥金的角逐赛,部分先行者逐渐摸索出了一条清晰的路。
165 1
|
人工智能 边缘计算 监控
英特尔打通云边协同任督二脉,驱动制造业从高产到高质蝶变
毫无疑问,中国是全球制造业大国,过去40年,中国制造业规模增长了18倍,其附加值达到2.2万亿美元,制造业在中国GDP比重高达40%,其之于中国经济的重要性可见一斑。 但客观地说,中国的制造业在高速发展的同时,也普遍面临着产业结构不合理、产能天花板,产品质量精度低,差异化不明显,核心竞争力不强等问题,加上最近几年制造业人力、环保、材料等成本的逐年上涨所带来的压力,让整个制造业的转型可谓“迫在眉睫”。
166 0
英特尔打通云边协同任督二脉,驱动制造业从高产到高质蝶变
|
存储 数据采集 人工智能
工业数据中台实践系列2 - 供给侧供应链优化
  1、引言   今年我们在制造行业上推出了工业数据中台,并依托工业数据中台主打几个行业场景解决方案,这其中供给侧供应链优化是其中最普遍的一个场景。之所以讨论场景的中台解决方案,是因为一直有一个想法,我们对客户讲数据中台,业务中台,在没有场景的情况下是很难让客户理解的,除非客户需要的就是一个大数据的平台或者技术中台等,究其原因最终这些我们经常讲的中台背后是具体落地的技术方
435 0
工业数据中台实践系列2 - 供给侧供应链优化
|
运维 Cloud Native 搜索推荐
打造数字化服务能力,中国联通如何借助云原生技术实现增长突围?
中国联通与阿里云结合阿里云原生 PaaS、阿里飞天操作系统、阿里云原生数据库以及中国联通天宫平台,共同研发运营商级专有云平台“天宫云”,支撑中国联通核心业务应用。
打造数字化服务能力,中国联通如何借助云原生技术实现增长突围?
葛洲坝集团联手阿里云打造数据中台 数字化驱动业务创新
7月11日,在阿里云武汉城市峰会上,大型央企葛洲坝集团首次对外展示数据中台的建设成果,通过基于阿里云中台、大数据、IoT物联网等技术打造的数据中台,数字化管理多元业务,提升运营效率,并进行业务创新。
5599 0
|
新零售 大数据
数据中台,让传统零售向新零售进一步迈进
2018云栖大会上海峰会数据中台专场上,联华华商信息中心总监陈杭从传统超市零售门店转型至新零售角度,介绍了联华华商和阿里云之间的数据中台合作。企业效益从高速增长到滞增甚至下滑,联华华商正在努力的求新求变求发展,致力于通过数据中台技术让新零售更加近距离的贴近用户生活。
3924 0