蚂蚁智能化中台:驱动业务高速发展的飞轮

简介: 在金融科技行业,智能中台已经成为提升业务创新能力的重要支撑,正不断以数据资产驱动业务创新,全方位、多角度地重塑产业链。

在金融科技行业,智能中台已经成为提升业务创新能力的重要支撑,正不断以数据资产驱动业务创新,全方位、多角度地重塑产业链。


“你敢付、我敢赔”和大促秒杀的背后,是数字化支付平台利用图数据库和虚拟化引擎的开放计算架构,是计算存储效率的极致优化,是端到端智能化中台的建构。


蚂蚁集团计算存储首席架构师何昌华(萧河)先生,在最近结束的2021阿里云金融数据智能峰会上发表名为《蚂蚁智能化中台建设的实践与展望》的演讲。讲述了支付宝“大促秒杀”和“你敢付、我敢赔”背后的技术底蕴,分享端到端的智能中台如何在提升业务灵活性的同时兼顾金融风控。

11.jpg


以下为他的演讲全文:

01“大促秒杀”背后的高性能账务数据库


蚂蚁脱胎于支付宝,是从支付业务开始的。随着互联网的发展,交易规模急速增加,这对系统背后的计算能力产生了很大的挑战。此前,通过分布式的数据库和服务解决了数据和计算规模化的问题,支撑起了蚂蚁的业务规模。然而近两年,直播带货等互联网商业模式开始兴起,出现了大促秒杀等支付场景。在这些支付场景中,买家都是跟同一个账号进行交易,这就使得系统需要在同一个账号上进行高频操作,产生了热点账户问题。

传统的解决方案是削峰填谷,即指同一个账户接收到交易请求后进行记账,如果是在单机能够处理的能力范围以内就直接记,否则加入缓存队列,等账户空闲时再实现完整的一致性处理。这个方案存在以下问题:

  • 无法精准对账户配置缓存队列
  • 账务缓存有可能超出账户本身余额,出现资金损失等风险

    22.jpg


为了系统性地解决这些问题,蚂蚁进行了突破性创新,设计研发了高性能账务数据库。

  • 账务逻辑下沉:余额检查及转账逻辑下沉,减少应用事务
  • 无锁一致性:单账户处理在单核CPU按照网络顺序执行指令,无锁一致性保证
  • 网络、存储IO优化:减少10倍延迟,针对硬件特性编写,底层代码及库函数使用C及汇编,微秒级数据访问

这一数据库最终实现热点账户处理2万TPS。从业务发展的角度考虑,其实2万这个数值,仍然不是特别保险,所以在这一块蚂蚁有一个更高的目标,我们希望可以达到物理极限

33.png

02

虚拟化引擎保障复杂支付网络


如下图所示,在支付场景里还涉及支付工具和支付渠道的选择,这需要考虑支付渠道本身容量是否足够、是否健康等各类合规要求,是典型的大数据实时决策问题。

举个例子,2020年某省的支付链路由于光纤被挖断,导致支付渠道很多指标都发生了异常,业务需要分析数据定位44.png异常原因,尽快调整支付链路,遇到了如下挑战:

  • 异常分析下钻维度受限制,维度多,无法实时任意维度交互式分析
  • 离线指标实时化需二次开发,无法复用已有离线任务
  • 单引擎性能受限,长时间窗口实时指标无法通过单流作业计算,需手工拆分成流和批作业的组合



为了解决这些问题,蚂蚁内部建立了一整套全网监控的指标体系,通过流批协同、虚拟化和自动优化,建立分布式结构化存储引擎。这一虚拟化引擎实现了任意维度下钻、指标一键实时化和长时间窗口的指标自动完成计算,从而保证了支付链路的安全稳定。

55.png

03

持续策略智能化“你敢付,我敢赔”


支付业务中,除了支付行为本身,另一个重要的课题就是伴随着支付行为的风险控制,蚂蚁在这方面也做了很多工作,针对近年高发的未成年人诈骗场景,采用了智能策略方案。通过分析数据自动产生特征,组合不同的特征和阈值自动产生策略,然后推荐给策略专家进行评估,最后上线。

66.png


分享一个诈骗实例:付款账户年龄大于28,在过去很短时间内有几笔付款码刷新的行为,收款账户存在一定的交易失败记录。这看起来是很正常的,策略专家也很难想到要设置这样的规则,但通过智能化的数据挖掘,发现这是一个被诈骗的账户。执果索因,在未成年人诈骗场景中,小朋友可能在不法分子的影响下,打开父母的付款码截图发送出去,由于操作不熟练产生多次刷新行为,同时付款码具有时效性,不法分子账户就容易发生多次交易失败的情形,在短期累积一定交易失败金额。这些看似不经意的东西,策略专家是较难发现的,系统则可以借助智能化的手段找到并确定合理的阈值。整个智能策略系统具有较好的金融属性:

  • 策略生成过程强可控:机器智能推荐,专家经验精确调节,结果具备强可解释性
  • 智能化策略组合快速响应:分布式算法执行支持策略快速且智能的探索,支持十亿量级以上大数据小时内完成挖掘规则
  • 评估指标多样,支持多目标学习,自定义评估指标

目前在蚂蚁所做的工作里,已经可以做到特征自动发现,策略智能生成并且可解释。未来我们希望从自动特征,智能策略,到模型可解释和归因分析,整体是一套闭环、自动化的系统,端到端地实现智能化特征和策略选择。这样一个大的闭环其实需要的算力无比巨大,整个状态空间是爆炸型的,对于这方面我们仍然在探索。

04

全栈图计算体系深挖数据关联价值


随着业务和技术的的不断发展,智能中台对于数据的挖掘也从线性结构走向图结构。比如支付风控中的反洗钱场景,目前反洗钱主要的挑战在于,不法分子通过“跑分平台”,租借合法账户,使得大量原有正常账户参与到黑灰产交易中。同时,他们通过海量交易、艺术品拍卖等手段来掩盖洗钱行为,采用多重身份、大量账号等方式来避开可疑规则筛查。这就对遏制反洗钱行为的时效性和精准性提出了很高的要求。

最初的做法是,针对单个记录或单个账户进行分析,找到高危特征,设计策略和模型,判断是否是洗钱账户。但是目前,研究单个账户已经解决不了问题,必须在一个更大更全局的范围内研究所有账户的连接情况以及交易资金的流转情况才有可能判断出风险。因此,图计算,图存储,图机器学习成为了解决这一问题的强大武器。蚂蚁在这方面做了非常大的投入。目前,在反洗钱领域,图计算覆盖支付宝全部资金交易,对疑似团伙类犯罪风险识别能力提高94倍以上,风险审理分析效率提升90%。

77.png


蚂蚁在图计算这个领域沉淀了接近5年,现在将图数据库、图计算、图神经网络模型等一系列围绕着图数据展开,对图数据进行存储、分析、演化的智能技术体系的能力整合起来,打造了一个产品GeaGraph。GeaGraph具备着世界领先的图技术能力。

  • 拥有着世界规模领先的图数据库集群:
  • 图数据库性能基准测试世界纪录保持者,领先第二名7.6倍
  • 具备在线(领先)、近线(创新)、离线(领先)三线计算能力
  • 时序图计算是2021金融十大科技趋势之一
  • 基于GeaGraph的图神经网络模型刷新斯坦福Open Graph Benchmark世界记录

    05
    智能中台助力业务“自动驾驶”

整体来看,蚂蚁智能中台在业务和技术的不断发展中,渐渐沉淀出蚂蚁计算存储的大底盘。


未来,我们希望打造一个端到端的智能化中台,既有数据和特征的研发,也有策略和模型的训练,既有具备金融特色的运筹优化求解,又有模型的模拟仿真和验证,还能对生成的模型进行解释和归因。最后获得反馈,不断迭代优化。我们希望把这样一个闭环打通,实现数据的智能实时决策。到那时,就能够实现金融业务的“自动驾驶“,从而助力业务飞速发展。我相信,这也应该是整个金融科技行业演进的大方向。


金融行业一直是科技的领跑者,让科技的力量赋能金融行业发展,让金融业务驱动技术的创新。


谢谢大家!


99.png

(作者介绍)

相关实践学习
阿里云图数据库GDB入门与应用
图数据库(Graph Database,简称GDB)是一种支持Property Graph图模型、用于处理高度连接数据查询与存储的实时、可靠的在线数据库服务。它支持Apache TinkerPop Gremlin查询语言,可以帮您快速构建基于高度连接的数据集的应用程序。GDB非常适合社交网络、欺诈检测、推荐引擎、实时图谱、网络/IT运营这类高度互连数据集的场景。 GDB由阿里云自主研发,具备如下优势: 标准图查询语言:支持属性图,高度兼容Gremlin图查询语言。 高度优化的自研引擎:高度优化的自研图计算层和存储层,云盘多副本保障数据超高可靠,支持ACID事务。 服务高可用:支持高可用实例,节点故障迅速转移,保障业务连续性。 易运维:提供备份恢复、自动升级、监控告警、故障切换等丰富的运维功能,大幅降低运维成本。 产品主页:https://www.aliyun.com/product/gdb
相关文章
|
6月前
|
人工智能 监控 安全
OpenClaw意外走红,智谱、MiniMax、Kimi终于“得救”了
春节后,开源AI框架OpenClaw引爆全球:25万+ GitHub Star登顶历史榜首,以“无头智能体”打破对话框局限——本地部署、全平台接入、SOUL.md定义人格、自动执行任务。它让AI从聊天工具蜕变为隐形生产力基建,为智谱、Kimi等大模型厂商开辟“API即服务”的新出路。(239字)
621 5
|
7月前
|
存储 供应链 数据可视化
大模型应用:面向结构化表格的 RAG 实践:技术架构与特性解析.26
本文提出面向结构化表格的RAG新模式,突破传统RAG将表格转为纯文本导致语义丢失、多表融合低效、版本兼容性差等瓶颈。通过结构化解析、元数据增强、向量索引优化与精细化检索,实现行列语义保留、跨表关联查询及本地轻量化部署,显著提升财务、政务等场景下Excel/CSV数据的检索精度与问答质量。
721 15
BBU池机房GPS时钟同步系统解决方案
BBU池机房GPS时钟同步系统通过有源分配单元实现多台BBU共享天线,解决传统方案施工难、成本高的问题。系统由主机和从机构成,支持主备切换与多路信号分配,提升楼顶利用率,降低建设维护成本60%以上,广泛应用于无线基站时钟同步领域。
|
消息中间件 人工智能 缓存
AI Agent 发展趋势与架构演进
本文介绍了编程范式的演进,从传统软件1.0、2.0时代进入大模型驱动的软件3.0时代,重点解析了AI原生应用与AI Agent的核心概念、开发关键问题及参考架构。同时探讨了Workflow与Agent模式、单Agent与多Agent的适用场景,以及提示词工程与上下文工程的差异。文章还介绍了Spring AI Alibaba、Nacos、Higress、RocketMQ等关键技术组件在AI原生应用中的作用,并提出了AI Agent可观测性解决方案,涵盖性能指标、链路追踪与质量评估等内容。最后介绍了开源项目LoongSuite的规划,助力AI原生应用的开发与优化。
1633 3
|
机器学习/深度学习 供应链 算法
如何从实验中获得更多?——AB实验的异质性分析实践
本文阐述了异质性分析的基本原理和方法、具体实践流程、落地等情况,总结实践经验,也期待更多交流和探讨。
1213 9
|
设计模式 开发者 Python
Python 类中引用其他类的实现详解
Python 类中引用其他类的实现详解
463 1
|
存储 SQL 关系型数据库
OceanBase与MySQL有何区别?
【8月更文挑战第12天】OceanBase与MySQL有何区别?
4429 3
|
机器学习/深度学习 PyTorch 算法框架/工具
pytorch中nn.ReLU()和F.relu()有什么区别?
pytorch中nn.ReLU()和F.relu()有什么区别?
1284 0
|
监控 搜索推荐 数据可视化
数据指标体系搭建方法及经验
在当今数据驱动的商业环境中,构建一个有效的数据指标体系成为了企业成功的关键。数据指标体系是一套精心设计的测量工具,用于评估和指导企业的业务活动。通过这个体系,企业能够转化庞大、复杂的数据为有价值的洞察,从而指导决策,优化运营,增强竞争力。
1187 0
数据指标体系搭建方法及经验
|
Web App开发 Ubuntu 前端开发
【踩坑记】Ubuntu 20.04.6 LTS下编译安装gcc 4.4.0
【踩坑记】Ubuntu 20.04.6 LTS下编译安装gcc 4.4.0