解析 | 蚂蚁金服金融级容器引擎实践之路

本文涉及的产品
容器镜像服务 ACR,镜像仓库100个 不限时长
简介: 蚂蚁金服的解决方案叫做“CAFE”(Cloud Application Fabric Engine)。

小蚂蚁说:

在金融级分布式架构中使用容器,许多企业的开发者都面临许多挑战。在2018年ATEC蚂蚁金服技术探索大会上,蚂蚁金服高级技术专家盛延敏在演讲中分析了容器与云原生技术的本质,为容器在分布式架构上的使用带来了实用高效的解决方案。

关于蚂蚁金服科技开放其他的技术产品,你还可以参考阅读:

独家 | 蚂蚁金服TRaaS技术风险防控平台解密》;

深度|蚂蚁金服分布式金融核心套件:金融核心系统变革助推器》;

2.0 解析系列 | 一文详解新一代OceanBase云平台》…… 

关注“蚂蚁金服科技”,了解蚂蚁金服更多前沿暖科技!

4443eedc2c55a2459738ae46feba7f0d76bb30c6

容器与云原生技术

a2b9f1271e2fb56b2530255b0fbce27d5a7d25bd

云原生技术由来已久,它包含五部分基础技术,包括容器(Containers)、服务网络(Service Meshes)、声明式API(Declarative APIs)、不可变基础设施(Immutable Infrastructure)、微服务(Microservices),以及公共云、混合云、专有云三种能力

容器(特别是docker)、微服务大家都比较熟悉,先来简单解释一下大家可能比较陌生的服务网络、声明式API和不可变基础设施的作用:

“服务网络”能够解决诸如跨语言、跨技术栈等问题;而声明式API则是目前CNCF等社区非常推崇的一种理念,比如k8s里面的对象采用了api、kind、version等方式,最终描述了一种期望达到的状态;至于不可变基础设施?这个概念比较难理解,我们知道k8s里面的pod是一个豌豆夹,里面可以放很多容器,每当声明(declare)新spec的时候,系统就会将pod销毁,产生新的pod对象,这个概念它比较像我们购买iphone,iphone是一个封闭的体系,用户想换的时候就需要买一个新的,不可变基础设施不意味着比较稳定。

b9b046c76aca4812fd0ac316bac314c470280c3e

回顾一下云计算的发展(如上图所示),开始的时候大家关注虚拟化,在虚拟机中安装软件和中间件,让应用跑起来。随着技术的进步,大家开始思考能不能将基础架构屏蔽,于是创造出以app为中心的理念,使用大规模发布的能力、自动化的运维,将中间件和应用代码耦合在一起部署在一个平台上,上移至PaaS层。

技术再进步,大家又想到了CaaS,通过docker的镜像、云原生的统一抽象和标准,让应用和基础组件包含在一起,以镜像的方式发布应用,大家的视角转移到容器、微服务体系的融合,“云原生”的时代就此来临。

金融级分布式架构使用容器的挑战

那么在金融级分布式架构下使用容器,我们会面临什么样的挑战?主要有三方面:

第一,已有的基础设施,包括资产管理、监控体系、运维体系,如何能平滑过渡?

第二,微服务架构,包括服务发现与寻址、跨语言支持、服务治理如何落地?

第三,如何让专有云、公共云及混合云具备弹性伸缩能力?

3bd16719d25a0e3e756f303e7d538c9138fbe36d

蚂蚁金服的解决方案叫做“CAFE”(Cloud Application Fabric Engine),它是理念以及产品集合,包括“两个标准”,即云 Provider标准、Open Service Broker API标准;“三个平台”,即“应用与容器平台”(主要关注容器和应用生命周期的管理)、“监控分析平台”(主要关注logging、trace、metrics以及链路、事件等平台)及“容灾应灾平台”(‘三地五中心’就是由它支持);“三个形态”包括专有云、公共云及混合云;其中构建了“N个解决方案”,包括DevOps、容器以及分布式架构的解决方案等。

上文提到的三个问题究竟该如何应对呢?蚂蚁金服提供了从传统到云原生的桥梁,帮助用户平滑地过渡基础设施;SOFAMesh原生的支持,帮助用户快速落地微服务2.0架构;混合云的架构,实现弹性能力。

三个应对之道

1. 从传统到云原生的桥梁

从传统到云原生,大家有很多普遍存在的困惑:比如习惯了VM(虚拟机)体系该怎么办?云原生适合我么?能否渐进上云原生?(有些任务用传统方式做,有些用云原生,两边是不是能互联互通?)

为了解决传统运维体验的问题,蚂蚁金服提供一种方式,不将容器视为单体,而是轻量化的虚机,让用户可以登录、关机、开机、重启,这种方式与操作模式无关,用户可以通过镜像化发布,也可以登录到机器中重新做service的启停。

熟悉容器技术的人都知道,如果容器本身的内核不支持,整个容器资源都会显示宿主机的资源,蚂蚁有强大的团队,可以修复这样的内核问题,另外可以支持单容器操作,让发布前后容器IP、ID保持不变,将PV和PVC绑定,创造兼容传统运维的用户体验。做到这一点,需要很多技术积累。

基于虚拟机的生命周期管理,我们先来复习一下原生pod的生命周期管理:一个pod的创建指令被接受了以后,会进入pending(暂停)的状态,这意味着这个容器、这个pod没调度,或者还没有生成,直到任务被create(生成)出来后才会进入running(运行)状态。如果所有的容器退出了,流程就会进入succeed(成功),中间running和failed可能会反复。

a46cc9cb6c8c77d33441808ab729d18cbaf89188

Native Pod 生命周期

然而,这个生命周期不能够完全满足企业级需求,因此我们通过升级和定制,定义了如下的CAFE Pod生命周期,通过它我们可以同时支持虚拟机发布和镜像发布;分组、灰度和无损发布;版本管理,变更自愈(很多开发者社区的东西并能拿来即可用,比如我们打造的底盘夯实的能力,这一能力能够在pod出现问题时及时熔断兜底);原地升级和重建升级;通过分布式架构体系实现同城双活、异地多活;通过技术风险体系实现etcd在线备份,宕机迁移,高可靠,可运维,可监控,可交付等。这一架构通过Upgrading支持虚拟机通过镜像原地替换的方式发布,本地的存储都可以保留下来,资源还可以放大,比如2G变4G。

c68c867b913ee984fea33fd95c94368de15d8be9

CAFE Pod 生命周期

我们还设计了全新的负载Cafe Application,在主机故障或者停机时自动在新机器上拉起容器提供服务;在升级后(非upgrade容器方式),新pod和原pod的Ip不变;支持按分组配置升级部分容器,并且长时间可以保持该状态;支持原地升级(inplace)和重建升级(replace);提供类似statefulset的podname,每个容器的名字都是唯一的;每个容器都有单独的pv,pvc,类似statefulset;在升级前可以加入一些控制,比如摘除流量,注销注册中心等;并支持回滚到之前版本。

此外,云原生方式还要求底层具有更强大的日志能力,我们要把所有在系统里面产生的pod的日志进行收集、存储、投递。如下是整个日志搜集能力的架构图,这一架构复用了蚂蚁中间件团队积累的强大的技术实力,包含了两大核心中间件。

15f055c1828b7ad3b2411accce2e80a597d26b89

第一是有流式投递能力的AntQ。还有就是我们基于Elastic search做了深度改造的ZSearch,提供整个日志的存储和检索的能力。每一台机器上会有logAgent,它会和我们的LogService通信,接受dockerD来的一些event(事件),然后会和docker graph交互,拿到docker实例的文件句柄,源源不断地把这些文件流输送给AntQ,AntQ拿到以后,我们可以通过几种路径来完成整个日志的输送,对于最实时的任务可以直接通过AntQ来投递到实时的计算引擎;对于准实时的日志查询或者链路监控的需求,我们建立index(索引),让上层的链路、监控能拿到这些数据,做一些链路分析和日志查询。对于非实时的需求,我们可以通过投递到hdfs完成离线数据报表的分析和制作。

2. SOFAMesh原生支持

前面一部分讲到如何从传统的应用迁移到所谓的云原生容器的方式,对任何一个公司来说如何使用容器技术落地微服务架构,并且随着产品的不断迭代、业务需求越来越多,微服务体系是否可以支持上,支持好,这么大的技术成本对于中小公司来说是难以为继的。

有没有更好的办法呢?答案就是SOFAMesh,即SOFAStack的中间件,它可以提供全新的微服务2.0的能力。通过业务聚焦,支持多语言、多技术栈,通过CAFE平台可以让业务迅速获得这种能力。

8d46f39ea97509e97da36ec3bb761d53557b72e2

ad891c287358a68342677a8833d34475e692cd0a

上图是我们在SOFAMesh上的部署架构,其控制层面叫SOFAMesh Pilot,数据层面叫做MOSN模块,说白了它就是一个智能网关,所有的信息都通过APP发给MOSN模块,做网络传输;MOSN模块同时不断地把metrics, logging等投递到到日志,监控和链路分析基础设施,以便用户全方位地掌控微服务架构的状况。

这套体系加上蚂蚁金服沉浸多年的中间件的能力,以及数据中心,在金融场景中得到了大规模验证。

使用CAFE去打开SOFAMesh有什么好处?最大的好处就是开箱即用。而且它提升了技术竞争力,整合PaaS能力,统一应用管控。举个简单例子,如果有一天你的老板说,可不可以对iOS的移动流量来一个5%的线上灰度,现在的微服务架构体系里面是可以做到的,但是侵入性非常大,而SOFAMesh框架可以定规则,由Pilot下发,上面的MOSN模块很容易实现。由此可见,SOFAMesh爆发的能量是非常巨大的。SOFAMesh和CAFE是实现微服务架构的绝佳拍档。

3. 混合云架构支持

最后说一下弹性伸缩混合云。有些公司想上专有云,琢磨着能不能在公共云里面做一部分开发测试,然后再上专有云,而专有云本身资源有限,在资源有限的情况下能不能自由迁移,弹性伸缩,节省成本,这都是很多厂商看重的。蚂蚁金服近些年在这方面做了很多努力。

9e889327ddaae5546e6aa1fab0886932e395eccd

蚂蚁金服支持混合云架构,能够把应用的数据、镜像等在多朵云之间同步,在多个云上迅速拉起应用,包括任务调度等,在专有云、公共云之间自由分配工作负载,达到弹性伸缩的能力。

780e3c830fe87faae8dd5ba875a200d0a67a620a

上图是我们基于CAFE容器引擎验证的全栈产品输出能力,我们的全栈产品的品牌叫做Antstack,包括了金融企业需要的所有关键组件,大家熟知的OceanBase容器化也在这个平台里面。Antstack底层通过资源调度提供计算存储网络,再上层提供产品组件,开发平台等等,这些产品可以满足不同金融场景,包括银行保险场景的解决方案。

最后三句话总结一下,CAFE为传统运维平滑迁移到云原生提供了很好的桥梁,为基于SOFAStack、SOFAMesh的微服务落地提供了绝佳的大规模运维的平台,为整个企业选择公有云、专有云、混合云架构提供了更好灵活性和敏捷性,蚂蚁金服还将继续将运维部署做稳做精,就像精心制作一杯醇正的咖啡(Cafe同音),为大家带来更好的体验。


— END —

相关文章
|
3月前
|
Cloud Native 中间件 调度
云原生信息提取系统:容器化流程与CI/CD集成实践
本文介绍如何通过工程化手段解决数据提取任务中的稳定性与部署难题。结合 Scrapy、Docker、代理中间件与 CI/CD 工具,构建可自动运行、持续迭代的云原生信息提取系统,实现结构化数据采集与标准化交付。
115 1
云原生信息提取系统:容器化流程与CI/CD集成实践
|
2月前
|
安全 持续交付 Docker
Docker:重塑现代软件交付的容器引擎
Docker:重塑现代软件交付的容器引擎
|
2月前
|
Kubernetes Cloud Native 持续交付
Docker:轻量级容器化技术解析
Docker:轻量级容器化技术解析
|
4月前
|
存储 缓存 安全
Java 集合容器常见面试题及详细解析
本文全面解析Java集合框架,涵盖基础概念、常见接口与类的特点及区别、底层数据结构、线程安全等内容。通过实例讲解List(如ArrayList、LinkedList)、Set(如HashSet、TreeSet)、Map(如HashMap、TreeMap)等核心组件,帮助读者深入理解集合容器的使用场景与性能优化。适合准备面试或提升开发技能的开发者阅读。
72 0
|
6月前
|
弹性计算 Java Maven
从代码到容器:Cloud Native Buildpacks技术解析
Cloud Native Buildpacks(CNB)是一种标准化、云原生的容器镜像构建系统,旨在消除手动编写Dockerfile,提供可重复、安全且高效的构建流程。它通过分层策略生成符合OCI标准的镜像,实现应用与基础镜像解耦,并自动化依赖管理和更新。阿里云应用管理支持通过CNB技术一键部署应用至ECS,简化构建和运行流程。
|
7月前
|
人工智能 API 语音技术
HarmonyOS Next~鸿蒙AI功能开发:Core Speech Kit与Core Vision Kit的技术解析与实践
本文深入解析鸿蒙操作系统(HarmonyOS)中的Core Speech Kit与Core Vision Kit,探讨其在AI功能开发中的核心能力与实践方法。Core Speech Kit聚焦语音交互,提供语音识别、合成等功能,支持多场景应用;Core Vision Kit专注视觉处理,涵盖人脸检测、OCR等技术。文章还分析了两者的协同应用及生态发展趋势,展望未来AI技术与鸿蒙系统结合带来的智能交互新阶段。
403 31
|
7月前
|
Ubuntu 关系型数据库 MySQL
容器技术实践:在Ubuntu上使用Docker安装MySQL的步骤。
通过以上的操作,你已经步入了Docker和MySQL的世界,享受了容器技术给你带来的便利。这个旅程中你可能会遇到各种挑战,但是只要你沿着我们划定的路线行进,你就一定可以达到目的地。这就是Ubuntu、Docker和MySQL的灵魂所在,它们为你开辟了一条通往新探索的道路,带你亲身感受到了技术的力量。欢迎在Ubuntu的广阔大海中探索,用Docker技术引领你的航行,随时准备感受新技术带来的震撼和乐趣。
296 16
|
7月前
|
缓存 边缘计算 安全
阿里云CDN:全球加速网络的实践创新与价值解析
在数字化浪潮下,用户体验成为企业竞争力的核心。阿里云CDN凭借技术创新与全球化布局,提供高效稳定的加速解决方案。其三层优化体系(智能调度、缓存策略、安全防护)确保低延迟和高命中率,覆盖2800+全球节点,支持电商、教育、游戏等行业,帮助企业节省带宽成本,提升加载速度和安全性。未来,阿里云CDN将继续引领内容分发的行业标准。
406 7
|
7月前
|
机器学习/深度学习 人工智能 自然语言处理
DeepSeek 实践应用解析:合力亿捷智能客服迈向 “真智能” 时代
DeepSeek作为人工智能领域的创新翘楚,凭借领先的技术实力,在智能客服领域掀起变革。通过全渠道智能辅助、精准对话管理、多语言交互、智能工单处理、个性化推荐、情绪分析及反馈监控等功能,大幅提升客户服务效率和质量,助力企业实现卓越升级,推动智能化服务发展。
263 1
|
7月前
|
机器学习/深度学习 人工智能 监控
鸿蒙赋能智慧物流:AI类目标签技术深度解析与实践
在数字化浪潮下,物流行业面临变革,传统模式的局限性凸显。AI技术为物流转型升级注入动力。本文聚焦HarmonyOS NEXT API 12及以上版本,探讨如何利用AI类目标签技术提升智慧物流效率、准确性和成本控制。通过高效数据处理、实时监控和动态调整,AI技术显著优于传统方式。鸿蒙系统的分布式软总线技术和隐私保护机制为智慧物流提供了坚实基础。从仓储管理到运输监控再到配送优化,AI类目标签技术助力物流全流程智能化,提高客户满意度并降低成本。开发者可借助深度学习框架和鸿蒙系统特性,开发创新应用,推动物流行业智能化升级。
209 1

推荐镜像

更多
  • DNS