蚂蚁金服研究员何征宇:系统软件和开源都是手段,不是目的

简介: 系统软件和开源都是手段,不是目的

2019年12月15日,蚂蚁金服研究员兼系统部负责人何征宇在OS2ATC 2019上分享了蚂蚁在金融级系统软件上的实践经验,以及对开源协作的理念和做法。以下为演讲整理:

1.jpg

我今天想和大家分享一下我在蚂蚁的一些工作,以及在金融级系统软件中需开源协作的探索和实践。

2.jpg

金融行业实际上是一个非常注重科技的行业,因为技术的价值可以得到很直观的展现,然后它是非常注重极致,非常追求技术的先进性的,技术上的先进性可以很快的转化为业务的领先性。

蚂蚁金服作为国内金融企业的领头羊,对于技术的追求是永无止境的。蚂蚁的梦想是服务20亿的消费者,1亿的全球小微经营者,这是一个非常大的愿景,而我们相信只有不断发展的技术才能让这些不可能成为可能。例如我们的310贷款能力,就是建立在一流的金融级大规模数据智能的技术能力之上的。

那么我们系统软件的挑战和做软件的压力是什么?如果用一句话来总结的话,就是在海量数据压力下的服务连续性保障和资损风险监控。首先是要达到一个非常高的可用率,这个跟我们常说高可用系统,例如电信级系统不一样,这个后面除了5个9之外,还有金融机构非常严格的一些要求,比如100%保证资金安全,这是蚂蚁金服一直在追求的能力。

蚂蚁金服与系统软件

3.jpg

蚂蚁金服也确实在各个系统软件的方向上追求极致。首先从数据库的角度来讲,OceanBase 在 TPC-C 评测中打破了 Oracle 多年的垄断,这一结果是 OceanBase 团队创新的实现了分布式关系数据库,并且得到了专业评审员的认可。其次是安全计算,我们参与了 Occlum 可信执行环境开源项目,并且与清华展开学术合作,相关文章已经被 ASPLOS 收录,也参与制定国内第一个安全计算的标准。然后是云原生方向上,我们自研了 SOFAMesh 并率先通过今年的双十一进行了大规模的验证。最后是安全容器技术,我们的 Kata Containers 是 OpenStack 顶级开放基础设施项目。

4.jpg

接下来我想讲一些我们的观点。我一直觉得,系统软件是一个手段,它并不是一个目的,因为我们一定要搞清楚的是我们系统软件到底是在做什么。右边这个图很有意思,这是一个楼梯,但是这个楼梯是没法使用的,如果我们做系统软件是为了做而做,有可能做出来就是像这个楼梯一样,目标达到了,但是没有任何价值。

任何一个基础软件、系统软件,比如一个新的操作系统,一般来说都是花销巨大的,而且软件写出来总有一天会淘汰的。我们到底做什么样的系统软件?我相信一定是为了解决什么问题而做,这是我们系统工程师最需要考虑的事情。

接下来,我想结合我自己的一些经历,分享一下我们是如何思考和利用系统软件解决问题的。

5.jpg

第一个案例是大家正在做的容器化所带来的问题。在云原生大趋势下,大家正在将IT系统迁移到容器里,例如从 OpenStack 迁移到 Kubernetes,这里实际上有一个很大的问题,也就是从虚拟机迁移到容器时,我们系统的隔离性,不管是从安全还是性能方面来说,都是有下降的。

6.jpg

蚂蚁金服正在做的安全容器,就是为了解决容器的隔离性问题,它的原理也很好理解。传统容器的隔离性其实是依赖 linux 本身,包括 cgroup 和 namespace 等技术,但是应用还是直接通过系统调用访问内核。安全容器做了一个中间层,利用新的内核,hypervisor 等等技术,让系统调用可以不用依赖底层的 linux,而安全容器自身对 linux 的依赖是完全已知和固定的,而且小到可以做非常详细的审计,从而极大的降低主机被攻破的风险。

安全容器可以有效的保护主机,但是,金融业务本身仍然需要更强的隔离保护。

所幸的是,最近兴起的机密计算(Confidential Computing)技术能够非常有效保护应用程序。它的本质其实上就是在大家手机里应用非常广泛的 TEE 技术,但是随着 Intel SGX 这样的技术的发展,让每一台服务器支持TEE都成为可能。

7.jpg

TEE,现在一般也称为 Enclave,可以进行运行时的双向防护。简单说,应用程序用它的话,可以不相信底层的OS等软件。但是在 Enclave 技术目前存在一些问题,阻碍了它在实际生产环境中的应用,包括:

第一,需要改写应用,因为可信执行环境里面没有内核和基础库,所以没法把应用直接在 Enclave 中执行;
第二,需要分割应用,需要把业务程序划分为 Enclave 内和 Enclave 外的部分;
第三,未集群化,与客户端场景不同,Enclave 中的应用如何 failover,容灾也是阻止其在数据中心中大规模使用的一个原因。

所以说现在基于 TEE 的应用特别难做,基本上现在做的就是纯运算的一些东西,因为 IO 都解决不了。这里就引出来我们的第二个案例,也就是我们为什么要做 Occlum。

Occlum 是我们今年聚焦攻关的一个 Enclave LibOS,现在在世界上来说应该是最先进的一个,使用它可以1分钟内将 Tensorflow Lite 移植到 Enclave 里面。这里我想说明的是,我们不是为了做系统而做系统,我们做系统是为了蚂蚁的业务例如共享智能,区块链等能够更好,更快的拿到机密计算这一新技术的红利。

蚂蚁金服与开源

9.jpg

我们讲开源,像上面提到的系统软件一样,开源也是一种手段,不是目的。这里给大家分享一些我们的思考。

10.jpg

首先给大家科普加拉帕戈斯综合症,这个其实可以对应到我们的系统软件,如果我们的系统软件从头到尾都是闭门造车,那么它一定会根据当时的现状加入妥协的部分,并且这种妥协会越来越多,最后面对开源开放的系统软件是没有竞争力的。

11.jpg

所以我觉得,开放的生态是系统软件保持长久活力的关键。上面的图片里面,左边是在水族馆里面的杀人鲸,它们的背鳍永远是弯着的,显得无精打采,右边是在开放水域的鲸鱼,它们的背鳍就是直的。所以,系统的生态是很重要的。我不想看到的是,不管是因为国家的政策也好,或者什么别的因素也好,我们就在小池塘里面互相吃来吃去的,最后一个大鲨鱼过来全部被干掉了。

从蚂蚁金服的角度来看,我们一定要保持开放,也希望有非常多的良性竞争。中国的武侠一定是有少林和武当的,如果都是一个流派那就不行了,百花齐放,百家争鸣的状态才是最好的。

12.jpg

最后总结一下蚂蚁金服系统软件的发展思路,首先它必须满足业务竞争的需求,然后我们会和顶尖学术机构一起合作创新,并且积极参与开源社区,承担应有的社会责任。

值得一提的是,蚂蚁金服系统软件上的学术合作也比较广泛。我们和国内外的专家学者,包括清华大学,上海交通大学,浙江大学,UC Berkeley 都有合作项目,也拿到了不错的成果,例如上面提到的 Occlum 项目就是跟清华陈渝老师合作的。在这里,我想带出我这次分享最重要的目的,也就是非常希望和在座的各位学术界和开源届的同行能有更多的交流和沟通,达成更多的合作,谢谢大家。

想和蚂蚁的技术人员一起开发系统软件,参与开源项目吗?蚂蚁金服系统部正在火热招聘中,欢迎投递简历~

IMG_3383.PNG

相关文章
|
存储 缓存 负载均衡
想成为一名顶尖Java开发工程师?这些优化手段一定要掌握!(六)
想成为一名顶尖Java开发工程师?这些优化手段一定要掌握!
|
运维 网络虚拟化 5G
带你读《ONAP技术详解与应用实践》之一:网络自动化挑战及ONAP介绍
国内首部系统剖析ONAP的书籍,也是理论性与实战性兼具的网络自动化实践指导书!本书详细全面地介绍了网络自动化的挑战和发展趋势,以及ONAP的概况、架构设计理念、设计原则、各模块实现细节、关键特性、应用场景和案例实践等。通过本书读者可以深入理解ONAP,提升对网络自动化及相关领域的认知。作者及其团队成员均是华为网络开源领域的专家,长期参与社区的治理、贡献和回馈,致力于通过产业协作,打造统一的平台,降低集成成本,加快新技术导入,助力新一代网络运维系统升级。同时,本书也融入了作者及其团队在网络开源领域的深刻洞察和见解,书中分享了华为参与网络开源的实践经验,是电信网络转型的重要参考。
|
4月前
|
运维 安全 测试技术
DevSecOps来袭,传统软件安全模式OUT了?新思维让你眼界大开,看完这篇秒变专家!
【8月更文挑战第6天】近期深入探索了DevSecOps,这是一种革新软件安全的开发运维模式。它将“安全”全面融入“开发”与“运维”,构建自动化安全体系。不同于传统事后安全检测的方式,DevSecOps强调安全贯穿软件生命周期始终。借助CI/CD管道集成安全扫描工具,确保每次代码提交均符合安全标准。例如,在CI管道中加入静态代码分析工具SonarQube,自动执行安全检查。DevSecOps不仅是技术实践,更代表文化与管理的变革,促进跨职能团队协作,共同保障软件安全与质量。未来,DevSecOps有望成为软件开发领域的主流实践。
42 1
|
4月前
|
监控
揭秘:为何多年经验的网工还对光模块的光衰正常范围一知半解?这个秘密可能彻底改变你的网络优化策略!
【8月更文挑战第19天】在信息化时代,光纤通信至关重要,光模块作为其核心组件,其性能直接影响数据传输质量。光衰,即光信号在光纤中传输时的功率损失,是评估光模块性能的关键指标。本文将阐述光衰的基本概念、测量方法及对网络性能的影响,并提供光衰正常范围的标准,帮助网络工程师更好地理解与应用这一重要知识点,确保网络稳定可靠。
514 0
|
SQL 存储 Java
想成为一名顶尖Java开发工程师?这些优化手段一定要掌握!(二)
想成为一名顶尖Java开发工程师?这些优化手段一定要掌握!
|
缓存 前端开发 Java
想成为一名顶尖Java开发工程师?这些优化手段一定要掌握!(七)
想成为一名顶尖Java开发工程师?这些优化手段一定要掌握!
101 0
|
负载均衡 监控 安全
想成为一名顶尖Java开发工程师?这些优化手段一定要掌握!(八)
想成为一名顶尖Java开发工程师?这些优化手段一定要掌握!
|
缓存 网络协议 Java
想成为一名顶尖Java开发工程师?这些优化手段一定要掌握!(一)
想成为一名顶尖Java开发工程师?这些优化手段一定要掌握!
|
消息中间件 存储 缓存
想成为一名顶尖Java开发工程师?这些优化手段一定要掌握!(四)
想成为一名顶尖Java开发工程师?这些优化手段一定要掌握!
|
存储 NoSQL 关系型数据库
想成为一名顶尖Java开发工程师?这些优化手段一定要掌握!(三)
想成为一名顶尖Java开发工程师?这些优化手段一定要掌握!