从算力网络的建设背景上来说,我们国家在 2020、2021 以及 2022 年密集出台多项了相关政策规划规划,比如数据中心、东数西算以及工信部的数据中心发展规划等。建设算力网络既是国家总体规划,它也是产业发展的需要,当下各当前企业都在进行面临产业数字化转型加速,对信息基础设施的实时供给提出了更高需求。建设算力网络也符合中国移动战略转型的需要要求。
算力网络的总体规划主要是面向国家产业数字化的升级,构建新型的基础设施。算力网络是以算为中心,以网为根基,网、云、数、智、安、边、端、链 (ABCDNETS) 深度融合的新型信息基础设施。实现“算力泛在、 算网共生、智能编排、 一体服务”的目标。算网共生强调从网随算动、算网融合,到算网一体。网络从支持灵活、随需、敏捷的算力连接,到感知算力、承载算力,实现网在算中、算在网中。
算力泛在指构建云边端多层次、立体泛在的分布式算力,实现三融通。空间上,融通东西,实现4 +3 +X 数据中心布局;逻辑上,实现融通云 ( C) 、边 ( E) 、端 (T);内核实现融通异构,实现ARM/x86/ASIC等多样性算力。
智能编排指融数注智,构建算网大脑,实现算网统一编排、调度、管理、运维,打造算网资源智能规划、灵活调度、高效优化的核心能力。
想要实现以上要求,需要逐步推动算力成为与水电一样,可“一点接入、即取即用”的社会级服务,达成“算力无处不在、网络无所不达、智能无所不及”的愿景。还要实现多要素算力的融合供给、社会算力的并网融合以及数智服务的融合供给,让用户感觉到算力无处不在,网络无所不达,提供智简的使用模式。
算力的开发过程中会面临很多问题。比如有各种各样异构的资源、在不同地域部署了不同服务。在算力网络的开发过程中会调用到不同的能力,而能力又分散在各个不同的地方,使用方式也不尽相同,尤其是在云原生时代,微服务开发模式下,往往需要多人协作,甚至多团队协作,那么对开发环境提出了较高的要求,不同的模块都需要有开发测试准生产等多套环境,那么如何在相对有限的算力上更高效的供给k8s环境成为一个难题。
开发人员使用本地笔记本电脑开发时,笔记本承载k8s环境相对较重,有一定的负载,会影响开发效率。服务器算力更强性能更好,但是却难以提供每人一套k8s环境。
为解决这个问题,我们利用云原生、基于算力虚拟化技术打造了磐基磐舟一体化开发环境。提供云原生的虚拟化集群,在物理硬件上提供多套虚拟化k8s集群,有了开发集群才能做基于云原生的算力网络改造以及应用。
在传统集群模式下,比如9个节点一般能创建2-3个集群,只能满足2-3个小的团队使用,而实际的开发团队数量会更多。在云原生虚拟化模式下,,能够实现9个节点170个集群左右的供给。集群均为虚拟化的集群,互相之间独立且隔离,不同的开发团队可以使用不同的集群,甚至每一个开发都可以申请多个集群,有效解决云原生算力开发过程中碰到的开发环境、测试环境不够用问题。
技术上,我们使用了gitops等云原生的技术,结合kubevirt、kind等技术栈,融合了k8s的 ClusterAPI 实现了集群资源的自动化供给,同时兼容ARM和X86 两种异构的硬件资源。
为了解决本地调试、云原生调试、微服务调试之间的联调需求,我们将集群环境与云 IDE做了关联,将云IDE设置为类似于小的开发笔记本,用户可以拥有多个云IDE,而且云IDE可以部署到多个集群之中,也可以多个用户的云IDE部署到同一个集群,云IDE之间能够连成小的局域网,用户可以方便地进行联调,另外用户可以根据自己的使用习惯保存配置。
用户也可以从本地直接连到远端的开发集群,云IDE可以与远端、本地做联调,解决了用户在联调中本地无法连接远端集群内的中间件、应用的问题。
在安全上使用了多层的安全防护,虚拟化的集群相当于在POD内设置了虚拟化,虚拟化上又进行了集群的安装,实现了k8s in pod。那么我们可以基于 K8S 做POD级的出入双向白名单控制。采用了云原生虚拟化以后本质上内核已经做了隔离,集群之间与物理机之间也都得到了较好的隔离。在用户开发调试的访问上可以采用统一的开发网关,实现统一的访问控制。
云IDE会按用户隔离,一个用户可以有多个云IDE,多个云IDE可以多个部署到多个集群,实例之间互相隔离且为容器化。
通过集群级、访问级、底层物理机级几层的访问控制以后,隔离上的安全能够得到比较充分的保障。
本产品支撑了2022年中国移动云原生开发大赛,使用了9台服务器,为130支参赛队伍,累计交付集群990+个,同时活跃集群高达175个。提供云IDE小电脑397个,用户自助操作内置开发套件服务1799次,用户自助部署并暴露980+服务,开发调试访问超过1.5亿次。但是在平台支撑仅投入3个开发,1个兼职运营,无专职运维人员。得益于技术演进,基本实现了平台自助化操作、无人值守自动化运行,用户随用随申请,完全自服务,用完自动回收。
本次提供云原生虚拟化服务的资源池分布在两个不同的地域,平台可以做两个地域之间的用户负载。因此,通过该模式能够实现算力的分布式布局,帮助用户解决了算力使用、开发问题,也为后续算力网络的推广应用打下了良好的技术基础。
关于龙蜥峰会云原生专场课件获取方式:
【PPT 课件获取】:关注微信公众号(OpenAnolis),回复“龙蜥课件” 即可获取。有任何疑问请随时咨询龙蜥助手—小龙(微信:openanolis_assis)。
【视频回放】:视频回放可前往龙蜥官网https://openanolis.cn/video 查看。