金融数据智能在蚂蚁金服的现状与发展-阿里云开发者社区

开发者社区> 社区助手> 正文

金融数据智能在蚂蚁金服的现状与发展

简介: 摘要:随着金融行业越来越复杂的融合场景和海量数据的出现,新一代数据技术架构和金融计算核心引擎呼之欲出。在2019杭州云栖大会开发者峰会上,蚂蚁金服计算存储首席架构师萧河就为大家分享了金融数据智能在蚂蚁金服的现状与发展。
+关注继续查看

点击这里回顾9月27日上午开发者峰会精彩内容

蚂蚁金服在过去的十几年中用技术重塑金融服务,主要工作集中在金融级交易支付技术和金融级数据智能技术两个领域。

image.png

除了和传统大数据相同的需求之外,金融数据智能还有一些独特的需求:

  • 实时性要求高:实时数据增长非常迅速,在线决策越来越多,数据时效性对业务发展非常重要。
  • 计算场景复杂多样:从简单统计和决策规则发展到复杂图、AI模型以及复杂决策。
  • 数据链路长,全链路研发调试:模型研发横跨18个系统,需要掌握多种研发模式,对研发团队提出了巨大挑战。
  • 计算存储高可用:需要实现跨域容灾,高可靠的计算服务。
  • 数据安全,监管合规,风险防控:严格的数据安全、等级体系,保护用户隐私,遵守监管合规,全面风险的防控。

为了应对金融数据智能的需求,蚂蚁金服的计算技术也经历了漫长的演进和发展过程。针对海量数据,需要使用像MapReduce/RDD这样的批处理计算引擎。时效性要求高,因此也需要做实时计算。数据分析的需求越来越多,于是也实现了交互式分析。同时,计算技术也会面临一些挑战,比如多种计算模式带来了研发效率问题,多套系统带来了多样存储需求,需要花费额外成本,并且还需要不同的容灾要求并保障数据安全,并带来了复杂度上升的问题。

image.png

开放计算架构

可能对于工程师们而言,想要解决上述问题最理想的方案就是构建一套统一的系统,但是难点在于系统是什么,如何确定系统的边界以及如何对系统进行抽象。首先,因为计算引擎本身与业务是强相关的,而在现阶段没有一个引擎能够满足蚂蚁金服所有的业务需求,并且业务仍在不停地进行创新,也在不停地提出新的需求。因此,蚂蚁金服希望能够拥有开放的计算架构,能够容纳各种各样的计算引擎。

在开放的计算架构之下,存储也需要统一起来。数据存储可以有各种各样的格式,可以有多个副本和复制,可以针对计算引擎进行各种各样的优化,但是在底层需要使用统一的存储,同时要有统一的全站式安全管控措施。

image.png

数据安全管控必须是全站的,金融数据智能体系需要提供全站统一的元数据管理、接入规范、安全等级以及隐私保护体系。只有在统一的数据安全规范之上,才可以将不同计算引擎接入进来。并且,针对每个引擎也需要能够提供不同的安全管控策略。

image.png

在开放架构、统一存储和统一数据安全规范的基础之上,蚂蚁金服还希望统一编程模型。蚂蚁现在的做法是统一基于一套标准SQL及扩展让用户直接面对底层数据来写自己的业务逻辑。可以想象为将引擎和存储抽象出来,对业务而言,不需要关注流计算与批计算,而只需要关注需要数据做什么以及数据的时效性即可,其他的部分则由引擎以及存储层自动优化和解决。此外,在统一编程模型中真正实现了面向数据的编程,业务同学面向抽象出来的数据编写业务逻辑,而不需要关注具体细节,这就是数据虚拟化的过程。统一编程模型是蚂蚁金服基于现有的计算模式和经验总结而成的,它能够为用户带来研发体验的巨大提升。
image.png

以上的这些就形成了蚂蚁金服所认为的能够支撑未来金融业务持续发展的一整套金融数据智能体系。而如今最为火热的话题就是人工智能技术,蚂蚁也需要考虑如何在金融智能业务中应用人工智能。

人工智能系统的现状基本上就是先有一个数据集,经过数据仓库清洗数据,然后将数据放在模型平台上进行训练并且输出训练好的模型,最终将模型推给线上的服务。在整个流程里面,肯定需要多套系统,并且数据也需要复制多份,这就有可能造成数据安全风险以及存储效率低下的问题。此外,因为模型本身的限制,这一过程很难做到实时,但是实时性在金融系统正在变得越来越重要。对于用户而言,需要做数据仓库,需要掌握机器学习平台,还需要将模型部署上线,整套过程非常复杂和烦琐。而蚂蚁金服在金融数据智能新体系里面直接插入了机器学习引擎。

image.png

蚂蚁金服SQLFlow的初衷是希望用SQL来表征和描述所要做的机器学习内容,使用SQL将数据和机器学习串联起来,可以让机器学习变得像SQL一样简单。用户只需要了解SQL就能够完成机器学习训练以及模型预测。

image.png

ElasticDL是蚂蚁金服开源的基于弹性调度的AI引擎,它完全基于开源的TensorFlow,但在TensorFlow的基础之上实现了容错以及弹性调度。同时,ElasticDL与SQLFlow进行了集成,使得用户训练模型更加简单。

image.png

金融级图计算

在蚂蚁金服业务中存在一些图计算的典型场景,比如实时反套现、社交分析以及营销圈人等。这些场景在蚂蚁金服的金融数据智能体系下实现起来也是非常简单的,相当于在体系中插入了一个图计算引擎。这样一来,不仅提供了离线和在线的图计算引擎,同时将流计算、批计算打通,实现了混合计算引擎。此外,蚂蚁还希望进一步优化金融数据智能体系,通过SQL + Gremlin这样的标准使得机器学习的过程更加简单。并且在底层还实现了强一致的在线图数据库,能够为用户提供海量的图数据存储服务。

image.png

蚂蚁金服的金融数据智能体系的思路就是提供一个开放架构,因此每当出现新的数据引擎和数据模式时,可以很容易地直接引入进来。如果业务存在新的需求,还可以接入深度定制化的引擎。无论接入了什么样的引擎,都可以直接处理海量的金融数据。而在这些计算引擎发展相对成熟的时候,可以在上层进行归纳,对研发效率等进行更进一步的优化。

金融数据融合计算

image.png

当完成了上述体系之后,还需要考虑很多业务往往需要面对非常复杂的计算场景。在复杂的金融场景下,需要同时使用多种计算引擎,因此需要融合计算模式,使得计算引擎之间的互通更加高效。因此,蚂蚁金服和伯克利合作打造了Ray融合计算引擎。在融合计算引擎之下,可以用一套研发流程和标准来描述多种多样的计算,底层计算的状态、数据以及中间结果都是共享的,并且用户可以选择任意的一种研发语言同时完成数据处理、机器学习以及图计算等工作。

image.png

融合计算Ray是一个开源框架。蚂蚁金服在Ray项目上也作出了很多贡献,也和伯克利大学一起推动Ray社区的发展。Ray可以将用户的简单本地逻辑转换成海量的分布式执行模型。基于Ray框架,蚂蚁实现了几个融合计算场景,如动态图推导,结合了流计算和图计算,能够实现一秒内完成6层迭代查询;金融在线决策,数据生产到分布式查询决策在一秒内完成;在线机器学习,实现数据样本到模型端到端秒级更新及数据推送。

image.png

融合计算引擎并不是为了取代前面提到的所有引擎,而是作为一个计算引擎插入到开放计算架构中,用于某些特殊的场景。当对所有计算引擎具有深入的了解之后,就可以在上面进行优化,构建一个SmartSQL层。

image.png

未来展望
最后分享一下蚂蚁对金融数据智能体系的展望,希望未来的金融数据智能平台的底层存储是统一的,中间的引擎是开放的、可插拔的和可混用的。在最上层,可以进行优化和统一,也可以直接开放给不同引擎,形成Big Data Base体系。既希望金融数据智能平台能够像使用数据库一样简单,也希望其能够成为开放计算架构的大数据平台,不仅能够处理数据,还能够扩展无限可能性。

image.png

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
9052 0
蚂蚁金服阳振坤:OceanBase如何跨越关系数据库的“死亡之谷”
蚂蚁金服高级研究员、OceanBase团队负责人阳振坤在北京交通大学计算机与信息技术学院举行的第71期CIT名师大讲堂学术报告中发表了题为《OceanBase:跨越关系数据库的死亡之谷》的主题演讲,介绍了OceanBase从创新到产品的飞跃式发展以及分享了互联网时代下技术和产品如何跨越“死亡之谷”的经验和心得。
2125 0
强强联合!蚂蚁金服与新炬网络战略合作,共同致力于国产数据库的技术推广和生态建设
蚂蚁金服和新炬网络合作,用创新技术与开放思维,推动基础技术自主研发,共同开拓新的市场。
1291 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
10717 0
从技术到落地,详解蚂蚁金服共享智能实践
共享智能如何解决金融领域的数据共享问题
680 0
蚂蚁金服西亭:智能金融的技术挑战与方案
在2018年1月6日的云栖社区数据智能技术论坛上,蚂蚁金服的周俊(花名西亭)做了题为《蚂蚁金服智能金融实践》的主题演讲。目前金融场景应用的越来越多,对金融服务也提出了更多的挑战,西亭介绍了蚂蚁金服为应对挑战进行的系统性风险的预测与监控,基于用户语义和近期操作行为的智能助理以及精准营销与推荐服务等技术,此外,他还介绍了基于AI的车辆定损产品。
2036 0
+关注
234
文章
45
问答
来源圈子
更多
开发者免费资源中心,技术电子书、会议PPT、论文资料持续供应中
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载