在金融科技行业,智能中台已经成为提升业务创新能力的重要支撑,正不断以数据资产驱动业务创新,全方位、多角度地重塑产业链。
“你敢付、我敢赔”和大促秒杀的背后,是数字化支付平台利用图数据库和虚拟化引擎的开放计算架构,是计算存储效率的极致优化,是端到端智能化中台的建构。
蚂蚁集团计算存储首席架构师何昌华(萧河)先生,在最近结束的2021阿里云金融数据智能峰会上发表名为《蚂蚁智能化中台建设的实践与展望》的演讲。讲述了支付宝“大促秒杀”和“你敢付、我敢赔”背后的技术底蕴,分享端到端的智能中台如何在提升业务灵活性的同时兼顾金融风控。
以下为他的演讲全文:
01“大促秒杀”背后的高性能账务数据库
蚂蚁脱胎于支付宝,是从支付业务开始的。随着互联网的发展,交易规模急速增加,这对系统背后的计算能力产生了很大的挑战。此前,通过分布式的数据库和服务解决了数据和计算规模化的问题,支撑起了蚂蚁的业务规模。然而近两年,直播带货等互联网商业模式开始兴起,出现了大促秒杀等支付场景。在这些支付场景中,买家都是跟同一个账号进行交易,这就使得系统需要在同一个账号上进行高频操作,产生了热点账户问题。
传统的解决方案是削峰填谷,即指同一个账户接收到交易请求后进行记账,如果是在单机能够处理的能力范围以内就直接记,否则加入缓存队列,等账户空闲时再实现完整的一致性处理。这个方案存在以下问题:
- 无法精准对账户配置缓存队列
- 账务缓存有可能超出账户本身余额,出现资金损失等风险
为了系统性地解决这些问题,蚂蚁进行了突破性创新,设计研发了高性能账务数据库。
- 账务逻辑下沉:余额检查及转账逻辑下沉,减少应用事务
- 无锁一致性:单账户处理在单核CPU按照网络顺序执行指令,无锁一致性保证
- 网络、存储IO优化:减少10倍延迟,针对硬件特性编写,底层代码及库函数使用C及汇编,微秒级数据访问
这一数据库最终实现热点账户处理2万TPS。从业务发展的角度考虑,其实2万这个数值,仍然不是特别保险,所以在这一块蚂蚁有一个更高的目标,我们希望可以达到物理极限。
02
虚拟化引擎保障复杂支付网络
如下图所示,在支付场景里还涉及支付工具和支付渠道的选择,这需要考虑支付渠道本身容量是否足够、是否健康等各类合规要求,是典型的大数据实时决策问题。
举个例子,2020年某省的支付链路由于光纤被挖断,导致支付渠道很多指标都发生了异常,业务需要分析数据定位异常原因,尽快调整支付链路,遇到了如下挑战:
- 异常分析下钻维度受限制,维度多,无法实时任意维度交互式分析
- 离线指标实时化需二次开发,无法复用已有离线任务
- 单引擎性能受限,长时间窗口实时指标无法通过单流作业计算,需手工拆分成流和批作业的组合
为了解决这些问题,蚂蚁内部建立了一整套全网监控的指标体系,通过流批协同、虚拟化和自动优化,建立分布式结构化存储引擎。这一虚拟化引擎实现了任意维度下钻、指标一键实时化和长时间窗口的指标自动完成计算,从而保证了支付链路的安全稳定。
03
持续策略智能化“你敢付,我敢赔”
支付业务中,除了支付行为本身,另一个重要的课题就是伴随着支付行为的风险控制,蚂蚁在这方面也做了很多工作,针对近年高发的未成年人诈骗场景,采用了智能策略方案。通过分析数据自动产生特征,组合不同的特征和阈值自动产生策略,然后推荐给策略专家进行评估,最后上线。
分享一个诈骗实例:付款账户年龄大于28,在过去很短时间内有几笔付款码刷新的行为,收款账户存在一定的交易失败记录。这看起来是很正常的,策略专家也很难想到要设置这样的规则,但通过智能化的数据挖掘,发现这是一个被诈骗的账户。执果索因,在未成年人诈骗场景中,小朋友可能在不法分子的影响下,打开父母的付款码截图发送出去,由于操作不熟练产生多次刷新行为,同时付款码具有时效性,不法分子账户就容易发生多次交易失败的情形,在短期累积一定交易失败金额。这些看似不经意的东西,策略专家是较难发现的,系统则可以借助智能化的手段找到并确定合理的阈值。整个智能策略系统具有较好的金融属性:
- 策略生成过程强可控:机器智能推荐,专家经验精确调节,结果具备强可解释性
- 智能化策略组合快速响应:分布式算法执行支持策略快速且智能的探索,支持十亿量级以上大数据小时内完成挖掘规则
- 评估指标多样,支持多目标学习,自定义评估指标
目前在蚂蚁所做的工作里,已经可以做到特征自动发现,策略智能生成并且可解释。未来我们希望从自动特征,智能策略,到模型可解释和归因分析,整体是一套闭环、自动化的系统,端到端地实现智能化特征和策略选择。这样一个大的闭环其实需要的算力无比巨大,整个状态空间是爆炸型的,对于这方面我们仍然在探索。
04
全栈图计算体系深挖数据关联价值
随着业务和技术的的不断发展,智能中台对于数据的挖掘也从线性结构走向图结构。比如支付风控中的反洗钱场景,目前反洗钱主要的挑战在于,不法分子通过“跑分平台”,租借合法账户,使得大量原有正常账户参与到黑灰产交易中。同时,他们通过海量交易、艺术品拍卖等手段来掩盖洗钱行为,采用多重身份、大量账号等方式来避开可疑规则筛查。这就对遏制反洗钱行为的时效性和精准性提出了很高的要求。
最初的做法是,针对单个记录或单个账户进行分析,找到高危特征,设计策略和模型,判断是否是洗钱账户。但是目前,研究单个账户已经解决不了问题,必须在一个更大更全局的范围内研究所有账户的连接情况以及交易资金的流转情况才有可能判断出风险。因此,图计算,图存储,图机器学习成为了解决这一问题的强大武器。蚂蚁在这方面做了非常大的投入。目前,在反洗钱领域,图计算覆盖支付宝全部资金交易,对疑似团伙类犯罪风险识别能力提高94倍以上,风险审理分析效率提升90%。
蚂蚁在图计算这个领域沉淀了接近5年,现在将图数据库、图计算、图神经网络模型等一系列围绕着图数据展开,对图数据进行存储、分析、演化的智能技术体系的能力整合起来,打造了一个产品GeaGraph。GeaGraph具备着世界领先的图技术能力。
- 拥有着世界规模领先的图数据库集群:
- 图数据库性能基准测试世界纪录保持者,领先第二名7.6倍
- 具备在线(领先)、近线(创新)、离线(领先)三线计算能力
- 时序图计算是2021金融十大科技趋势之一
- 基于GeaGraph的图神经网络模型刷新斯坦福Open Graph Benchmark世界记录
05
智能中台助力业务“自动驾驶”
整体来看,蚂蚁智能中台在业务和技术的不断发展中,渐渐沉淀出蚂蚁计算存储的大底盘。
未来,我们希望打造一个端到端的智能化中台,既有数据和特征的研发,也有策略和模型的训练,既有具备金融特色的运筹优化求解,又有模型的模拟仿真和验证,还能对生成的模型进行解释和归因。最后获得反馈,不断迭代优化。我们希望把这样一个闭环打通,实现数据的智能实时决策。到那时,就能够实现金融业务的“自动驾驶“,从而助力业务飞速发展。我相信,这也应该是整个金融科技行业演进的大方向。
金融行业一直是科技的领跑者,让科技的力量赋能金融行业发展,让金融业务驱动技术的创新。
谢谢大家!
(作者介绍)