蚂蚁智能化中台:驱动业务高速发展的飞轮

简介: 在金融科技行业,智能中台已经成为提升业务创新能力的重要支撑,正不断以数据资产驱动业务创新,全方位、多角度地重塑产业链。

在金融科技行业,智能中台已经成为提升业务创新能力的重要支撑,正不断以数据资产驱动业务创新,全方位、多角度地重塑产业链。


“你敢付、我敢赔”和大促秒杀的背后,是数字化支付平台利用图数据库和虚拟化引擎的开放计算架构,是计算存储效率的极致优化,是端到端智能化中台的建构。


蚂蚁集团计算存储首席架构师何昌华(萧河)先生,在最近结束的2021阿里云金融数据智能峰会上发表名为《蚂蚁智能化中台建设的实践与展望》的演讲。讲述了支付宝“大促秒杀”和“你敢付、我敢赔”背后的技术底蕴,分享端到端的智能中台如何在提升业务灵活性的同时兼顾金融风控。

11.jpg


以下为他的演讲全文:

01“大促秒杀”背后的高性能账务数据库


蚂蚁脱胎于支付宝,是从支付业务开始的。随着互联网的发展,交易规模急速增加,这对系统背后的计算能力产生了很大的挑战。此前,通过分布式的数据库和服务解决了数据和计算规模化的问题,支撑起了蚂蚁的业务规模。然而近两年,直播带货等互联网商业模式开始兴起,出现了大促秒杀等支付场景。在这些支付场景中,买家都是跟同一个账号进行交易,这就使得系统需要在同一个账号上进行高频操作,产生了热点账户问题。

传统的解决方案是削峰填谷,即指同一个账户接收到交易请求后进行记账,如果是在单机能够处理的能力范围以内就直接记,否则加入缓存队列,等账户空闲时再实现完整的一致性处理。这个方案存在以下问题:

  • 无法精准对账户配置缓存队列
  • 账务缓存有可能超出账户本身余额,出现资金损失等风险

    22.jpg


为了系统性地解决这些问题,蚂蚁进行了突破性创新,设计研发了高性能账务数据库。

  • 账务逻辑下沉:余额检查及转账逻辑下沉,减少应用事务
  • 无锁一致性:单账户处理在单核CPU按照网络顺序执行指令,无锁一致性保证
  • 网络、存储IO优化:减少10倍延迟,针对硬件特性编写,底层代码及库函数使用C及汇编,微秒级数据访问

这一数据库最终实现热点账户处理2万TPS。从业务发展的角度考虑,其实2万这个数值,仍然不是特别保险,所以在这一块蚂蚁有一个更高的目标,我们希望可以达到物理极限

33.png

02

虚拟化引擎保障复杂支付网络


如下图所示,在支付场景里还涉及支付工具和支付渠道的选择,这需要考虑支付渠道本身容量是否足够、是否健康等各类合规要求,是典型的大数据实时决策问题。

举个例子,2020年某省的支付链路由于光纤被挖断,导致支付渠道很多指标都发生了异常,业务需要分析数据定位44.png异常原因,尽快调整支付链路,遇到了如下挑战:

  • 异常分析下钻维度受限制,维度多,无法实时任意维度交互式分析
  • 离线指标实时化需二次开发,无法复用已有离线任务
  • 单引擎性能受限,长时间窗口实时指标无法通过单流作业计算,需手工拆分成流和批作业的组合



为了解决这些问题,蚂蚁内部建立了一整套全网监控的指标体系,通过流批协同、虚拟化和自动优化,建立分布式结构化存储引擎。这一虚拟化引擎实现了任意维度下钻、指标一键实时化和长时间窗口的指标自动完成计算,从而保证了支付链路的安全稳定。

55.png

03

持续策略智能化“你敢付,我敢赔”


支付业务中,除了支付行为本身,另一个重要的课题就是伴随着支付行为的风险控制,蚂蚁在这方面也做了很多工作,针对近年高发的未成年人诈骗场景,采用了智能策略方案。通过分析数据自动产生特征,组合不同的特征和阈值自动产生策略,然后推荐给策略专家进行评估,最后上线。

66.png


分享一个诈骗实例:付款账户年龄大于28,在过去很短时间内有几笔付款码刷新的行为,收款账户存在一定的交易失败记录。这看起来是很正常的,策略专家也很难想到要设置这样的规则,但通过智能化的数据挖掘,发现这是一个被诈骗的账户。执果索因,在未成年人诈骗场景中,小朋友可能在不法分子的影响下,打开父母的付款码截图发送出去,由于操作不熟练产生多次刷新行为,同时付款码具有时效性,不法分子账户就容易发生多次交易失败的情形,在短期累积一定交易失败金额。这些看似不经意的东西,策略专家是较难发现的,系统则可以借助智能化的手段找到并确定合理的阈值。整个智能策略系统具有较好的金融属性:

  • 策略生成过程强可控:机器智能推荐,专家经验精确调节,结果具备强可解释性
  • 智能化策略组合快速响应:分布式算法执行支持策略快速且智能的探索,支持十亿量级以上大数据小时内完成挖掘规则
  • 评估指标多样,支持多目标学习,自定义评估指标

目前在蚂蚁所做的工作里,已经可以做到特征自动发现,策略智能生成并且可解释。未来我们希望从自动特征,智能策略,到模型可解释和归因分析,整体是一套闭环、自动化的系统,端到端地实现智能化特征和策略选择。这样一个大的闭环其实需要的算力无比巨大,整个状态空间是爆炸型的,对于这方面我们仍然在探索。

04

全栈图计算体系深挖数据关联价值


随着业务和技术的的不断发展,智能中台对于数据的挖掘也从线性结构走向图结构。比如支付风控中的反洗钱场景,目前反洗钱主要的挑战在于,不法分子通过“跑分平台”,租借合法账户,使得大量原有正常账户参与到黑灰产交易中。同时,他们通过海量交易、艺术品拍卖等手段来掩盖洗钱行为,采用多重身份、大量账号等方式来避开可疑规则筛查。这就对遏制反洗钱行为的时效性和精准性提出了很高的要求。

最初的做法是,针对单个记录或单个账户进行分析,找到高危特征,设计策略和模型,判断是否是洗钱账户。但是目前,研究单个账户已经解决不了问题,必须在一个更大更全局的范围内研究所有账户的连接情况以及交易资金的流转情况才有可能判断出风险。因此,图计算,图存储,图机器学习成为了解决这一问题的强大武器。蚂蚁在这方面做了非常大的投入。目前,在反洗钱领域,图计算覆盖支付宝全部资金交易,对疑似团伙类犯罪风险识别能力提高94倍以上,风险审理分析效率提升90%。

77.png


蚂蚁在图计算这个领域沉淀了接近5年,现在将图数据库、图计算、图神经网络模型等一系列围绕着图数据展开,对图数据进行存储、分析、演化的智能技术体系的能力整合起来,打造了一个产品GeaGraph。GeaGraph具备着世界领先的图技术能力。

  • 拥有着世界规模领先的图数据库集群:
  • 图数据库性能基准测试世界纪录保持者,领先第二名7.6倍
  • 具备在线(领先)、近线(创新)、离线(领先)三线计算能力
  • 时序图计算是2021金融十大科技趋势之一
  • 基于GeaGraph的图神经网络模型刷新斯坦福Open Graph Benchmark世界记录

    05
    智能中台助力业务“自动驾驶”

整体来看,蚂蚁智能中台在业务和技术的不断发展中,渐渐沉淀出蚂蚁计算存储的大底盘。


未来,我们希望打造一个端到端的智能化中台,既有数据和特征的研发,也有策略和模型的训练,既有具备金融特色的运筹优化求解,又有模型的模拟仿真和验证,还能对生成的模型进行解释和归因。最后获得反馈,不断迭代优化。我们希望把这样一个闭环打通,实现数据的智能实时决策。到那时,就能够实现金融业务的“自动驾驶“,从而助力业务飞速发展。我相信,这也应该是整个金融科技行业演进的大方向。


金融行业一直是科技的领跑者,让科技的力量赋能金融行业发展,让金融业务驱动技术的创新。


谢谢大家!


99.png

(作者介绍)

相关实践学习
阿里云图数据库GDB入门与应用
图数据库(Graph Database,简称GDB)是一种支持Property Graph图模型、用于处理高度连接数据查询与存储的实时、可靠的在线数据库服务。它支持Apache TinkerPop Gremlin查询语言,可以帮您快速构建基于高度连接的数据集的应用程序。GDB非常适合社交网络、欺诈检测、推荐引擎、实时图谱、网络/IT运营这类高度互连数据集的场景。 GDB由阿里云自主研发,具备如下优势: 标准图查询语言:支持属性图,高度兼容Gremlin图查询语言。 高度优化的自研引擎:高度优化的自研图计算层和存储层,云盘多副本保障数据超高可靠,支持ACID事务。 服务高可用:支持高可用实例,节点故障迅速转移,保障业务连续性。 易运维:提供备份恢复、自动升级、监控告警、故障切换等丰富的运维功能,大幅降低运维成本。 产品主页:https://www.aliyun.com/product/gdb
相关文章
|
Cloud Native 中间件 新金融
金融先锋联盟:持续聚焦金融机构核心架构升级
金融先锋联盟:持续聚焦金融机构核心架构升级
320 0
|
运维 Kubernetes Cloud Native
云原生:驱动企业数字化新模式
大家好!我是 Rainbond 创始人刘凡,今年是 Rainbond 创立和开源的第七年,这个过程中我见证了Docker、K8s、云原生等技术的演进,Rainbond 也进化成为一体化的云原生管理平台,基于这么多年的产品研发及行业沉淀,我来分享我们对云原生的一些思考,以及云原生技术为企业数字化转型带来的新模式。
|
人工智能 运维 供应链
数智洞察|产业集群数字化:构建协同发展的新生态
数智洞察|产业集群数字化:构建协同发展的新生态
1290 0
|
弹性计算 运维 Cloud Native
数字化浪潮来临,如何实现业务敏捷交付和科技持续治理?揭秘蚂蚁 BizStack
2022年5月26日下午14:00-14:30,蚂蚁集团产品专家耿柳将通过直播为大家分享《探秘BizStack:一站式云原生开发和治理平台》,想了解更多有关BizStack 技术细节和最佳实践,这场线上直播不容错过!扫描二维码即可观看直播,不见不散~
402 0
数字化浪潮来临,如何实现业务敏捷交付和科技持续治理?揭秘蚂蚁 BizStack
|
数据采集 机器学习/深度学习 人工智能
云和信创双轮驱动,为神州数码规划未来
云和信创双轮驱动,为神州数码规划未来
259 0
云和信创双轮驱动,为神州数码规划未来
|
存储 数据采集 人工智能
工业数据中台实践系列2 - 供给侧供应链优化
  1、引言   今年我们在制造行业上推出了工业数据中台,并依托工业数据中台主打几个行业场景解决方案,这其中供给侧供应链优化是其中最普遍的一个场景。之所以讨论场景的中台解决方案,是因为一直有一个想法,我们对客户讲数据中台,业务中台,在没有场景的情况下是很难让客户理解的,除非客户需要的就是一个大数据的平台或者技术中台等,究其原因最终这些我们经常讲的中台背后是具体落地的技术方
441 0
工业数据中台实践系列2 - 供给侧供应链优化
|
运维 Cloud Native 搜索推荐
打造数字化服务能力,中国联通如何借助云原生技术实现增长突围?
中国联通与阿里云结合阿里云原生 PaaS、阿里飞天操作系统、阿里云原生数据库以及中国联通天宫平台,共同研发运营商级专有云平台“天宫云”,支撑中国联通核心业务应用。
打造数字化服务能力,中国联通如何借助云原生技术实现增长突围?
|
存储 运维 Cloud Native
聚焦行业云原生,为传统企业转型提供破局之刃
对传统企业而言,如果说云迁移解决了传统应用软件在云环境中的使用问题,达成了“能用”,那么原生化改造要解决的就是“好用”的问题,便于最大程度发挥云的优势,应对市场需求的变化。日前,由百易传媒牵头的行业云原生应用报告新闻发布会在线上召开。
|
边缘计算 5G CDN
5G时代背景下,蓝汛探索边缘计算,加快自身技术体系升级
众所周知2019年是5G元年,随着5G商用牌照的正式下发。在未来,5G将被广泛应用于医疗、工业设计、汽车制造等对网络延时要求极为严苛的行业中,如果说4G改变了我们的生活,那么5G将改变社会。蓝汛作为我国首家引入CDN节点的互联网技术服务商,一直深耕于如何在5G时代背景下,促进自身技术体系升级。
下一篇
DataWorks