容器网络文件系统 CNFS 在容器计算领域的最佳实践|学习笔记

本文涉及的产品
容器镜像服务 ACR,镜像仓库100个 不限时长
简介: 快速学习容器网络文件系统 CNFS 在容器计算领域的最佳实践

开发者学堂课程【容器持久化储存训练营容器网络文件系统 CNFS 在容器计算领域的最佳实践】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/889/detail/14193


容器网络文件系统 CNFS 在容器计算领域的最佳实践


内容介绍:

一、容器存储最佳实践

二、使用阿里云容器服务 ACK+文件存储 NAS 构建现代化企业应用


一、容器存储最佳实践

1. 金和多媒体服务最佳实践

常用产品组合:容器服务 ACK / ASK+ECS /弹性裸金属服务器/ ECI / GPU+通用型 NAS

image.png

⑴ 场景描述

大型金融服务或在线视频等突发应用,需短时间内弹性扩容大量容器,对资源弹性伸缩能力的要求非常高,文件存储需具备极致弹性和极速伸缩能力的应用场景。

典型的应用:媒体和娱乐、Web 服务和内容管理、大型金触服务

用户痛点

底层存储的性能和容量无法线性扩展,存储扩展能力无法适配容器的弹性伸缩

Pod 需要灵活的挂载卸载存储,存储不能匹配容器快速启动的速度,I/O 性能瓶颈

海量容器持久化数据快速增长,成本压力大

解决方案

NAS 自动化极速伸缩,在短时间内启动数干个容器,毫秒级挂载NAS

NAS 为海量容器提供共享读写能力,实现容器应用高可用

NAS 目录配额和 ACL 管理能力,为金融业务数据安全保驾护航

NAS 提供生命周期管理,自动冷热分层,访问方式不变,分层至低频型 NAS

价值收益

敏捷,极致的弹性,对存储来说,容量和性能扩展完全按需

单个文件系统支持数万 Pod 共享,毫秒挂载和卸载,极速迁移,同时保障数据安全

自动化生命周期管理,优化成本

2. AI 机学习最佳实践

常用产品组合:ACK / GPU /弹性裸金属服务器+通用型 NAS

image.png⑴ 场景描述

AI 训练和 AI 推理需要较高的带宽,同时海量数据需要较低的存储成本

典型的应用:自动驾驶、自然语言学习、图像识别训练

用户痛点

AI 数据流复杂,存储系统 IO 存在瓶颈

AI 训练、推理需求高性能

面对快速增长的数据,如何做好高效、低成本数据生命周期管理

解决方案

文件存储的 POSIX 接口原生支持各种 AI 机器学习应用,无需改造适配直接使用,享受容器优势

文件存储 NAS 作为高性能共享存储,与 AI 场景完美结合,支持海量小文件访问,加速 AI 训练、推理性能

价值收益

超高性能存储提高了计算资源的利用率

超强性能和容量扩展能力,减少运维管理成本

生命周期管理,与云上无缝对接,数据冷热分层,降低成本

3. 基因计算最佳实践

常用产品组合:ACK / ASK / AGS+ 通用型 NAS+OSSimage.png

⑴ 场景描述

二代、三代基因数据分析优化,提供云上数据分析和高速数据上传、交付方案

用户痛点

大规模样本的数据挖掘需要海量计算资源,数据增长快,存储费用高,管理困难

海量数据需要快速、安全的分发到国内多地,多数据中心需要共享访问

批量样本处理时间长,性能需求高,资源需求峰谷明显,难以规划

解决方案

文件存储 NAS 对接容器服务 ACK、Serverless 容器服务 ASK 和基因计算 AGS,搭建极速、低成本、高精度的基因计算容器环境,满足基因测序计算和数据共享需求。

文件存储 NAS 用于基因数据分析中的共享存储,保存下机数据和组装后的数据,以及过程中的中间数据,满足基因行业用户的低时延、高 IOPS 的存储需求,减少数据拷贝/传输。

对象存储 OSS 保存测序仪下机数据和组装后数据以及分析结果数据,用于数据的分发、归档、交付,保证10000+用户同时上传、下载数据,提高数据交付效率。

价值收益

敏捷,按需使用,弹性扩展

高性能存储提高基因计算的高性能和效率

数据冷热分层,降低成本


二、 拥抱容器存储,使用阿里云容器服务 ACK+ 文件存储 NAS 构建现代化企业应用

1.百家云-多媒体录制转码,弹性扩容10倍资源

⑴公司介绍——百家云(一站式视频技术服务商

特点:教育直播,双师课堂网校系统

百家云是一家拥有音视频核心技术和知识产权的高新技术企业,已获得百度、贵阳创投、邦盛资本、华图教育、白山云、高榕资本、启赋资本等超过1亿元的投资。汇聚了来自 Google、微软、百度、Real player、搜狐、全时等厂商的顶尖语音视频人才。

业务需求和痛点

疫情期间业务暴涨:三天时间系统资源需要扩容10倍

存储 I/O 瓶颈:录制转码系统在原有存储系统遇到 I/O 瓶颈

⑶解决方案image.png

⑷客户价值

阿里云文件存储 NAS 完全兼容现有录制转码软件,并提供 GB/s 级的吞吐能力和快速扩容,帮助业务实现快速容器化改造,保障疫情期间直播录制业务顺利上线。节省了25%的成本,降低80%的运维工作量。

2. 图森未来-全球领先自动驾驶 AI,训练性能提升60%

⑴ 公司介绍——图森未来

图森未来(TuSimple)成立于2015年,是一家专注于 L4级无人驾驶卡车技术研发与应用的人工智能企业,已经实现卡车在干线物流场景和半封闭枢纽场景下的无人干预驾驶。图森未来品牌旗下产品——图森未来 L4级别无人驾驶卡车能够实现环境感知、定位导航、决策控制等自动驾驶核心功能,可应用于高速公路货运和港内集装箱码头运输及其相似场景。

业务需求和痛点

数据采集:业务全球化,每天产生几十 TB 数据,数据同步和传输效率低

海量小文件:训练素材可能是100KB的海量小图片

高性能:GPU 利用率不高,且传统 NAS 无法满足 GPU 低延迟文件访问需求

扩展性:业务高速发展,运维复杂,需要弹性付费

⑶ 解决方案image.png

⑷ 客户价值

针对图森未来的场景,在底层针对数据采集、存储、计算、时延和带宽等做

了深度优化,将训练性能提升了将近60%,大大缩短了图森未来的模型优

化时间,加速模型迭代,提升业务创新效率。

3. 某癌症医疗公司高性能基因计算,高效数据交付

(1)公司介绍

中国领先的癌症精准医疗公司专注于癌症基因组学研究和应用,并致力依托先进的分子生物学及大数据分析能力改变癌症诊疗方式。聚焦癌症精准医疗,产品和服务覆盖癌症全周期。目前已服务中国500余家医院、数十家药企和科研机构,建立了庞大的基因组数据库。为癌症患者、高危人群和健康人群,以及癌症相关领域研究者,提供科学专业的分子诊疗及科研服务解决方案。

(2)业务需求和痛点

数据存储:数据增长快,当前存储无法满足容量和性能线性扩展需求,上万个容器弹性扩容,底层存储难以适配容器应用的弹性伸缩

(3)批量样板处理时间长,基因计算性能遇到 I/O 瓶颈

(4)大规模样本数据存储费用高,管理困难

(5)解决方案image.png

(6)客户价值

阿里云基因存储解决方案帮助用户实现了优化的数据成本、高性能的计算分析、高效的数据交付。

存储性能由1GB/s提升至10GB/s,实现 Panel / WES 数据12小时端到端处理完成,包括数据上云,结果下云分发。

文件存储 NAS 在这个过程中,实现了对于弹性扩展和高存储的带宽,可以根据每次业务规格的不同提供匹配的带宽,既满足了业务弹性的需求,也节省了总体的应用成本,所以文件储存 NAS 可以通过统一的流程,统一的资源调度云上云下的资源,从而可以非常低成本的且高效的去完成金融计算的任务。

相关实践学习
使用容器计算服务ACS算力快速搭建生成式AI会话应用
本实验将指导您如何通过阿里云容器计算服务 ACS 快速部署并公开一个容器化生成式 AI 会话应用,并监控应用的运行情况。
深入解析Docker容器化技术
Docker是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器上,也可以实现虚拟化,容器是完全使用沙箱机制,相互之间不会有任何接口。Docker是世界领先的软件容器平台。开发人员利用Docker可以消除协作编码时“在我的机器上可正常工作”的问题。运维人员利用Docker可以在隔离容器中并行运行和管理应用,获得更好的计算密度。企业利用Docker可以构建敏捷的软件交付管道,以更快的速度、更高的安全性和可靠的信誉为Linux和Windows Server应用发布新功能。 在本套课程中,我们将全面的讲解Docker技术栈,从环境安装到容器、镜像操作以及生产环境如何部署开发的微服务应用。本课程由黑马程序员提供。     相关的阿里云产品:容器服务 ACK 容器服务 Kubernetes 版(简称 ACK)提供高性能可伸缩的容器应用管理能力,支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力,打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
相关文章
|
10月前
|
Kubernetes 监控 开发者
掌握容器化:Docker与Kubernetes的最佳实践
【10月更文挑战第26天】本文深入探讨了Docker和Kubernetes的最佳实践,涵盖Dockerfile优化、数据卷管理、网络配置、Pod设计、服务发现与负载均衡、声明式更新等内容。同时介绍了容器化现有应用、自动化部署、监控与日志等开发技巧,以及Docker Compose和Helm等实用工具。旨在帮助开发者提高开发效率和系统稳定性,构建现代、高效、可扩展的应用。
|
4月前
|
算法 JavaScript 数据安全/隐私保护
基于GA遗传优化的最优阈值计算认知异构网络(CHN)能量检测算法matlab仿真
本内容介绍了一种基于GA遗传优化的阈值计算方法在认知异构网络(CHN)中的应用。通过Matlab2022a实现算法,完整代码含中文注释与操作视频。能量检测算法用于感知主用户信号,其性能依赖检测阈值。传统固定阈值方法易受噪声影响,而GA算法通过模拟生物进化,在复杂环境中自动优化阈值,提高频谱感知准确性,增强CHN的通信效率与资源利用率。预览效果无水印,核心程序部分展示,适合研究频谱感知与优化算法的学者参考。
|
3月前
|
Docker 容器
Docker网关冲突导致容器启动网络异常解决方案
当执行`docker-compose up`命令时,服务器网络可能因Docker创建新网桥导致IP段冲突而中断。原因是Docker默认的docker0网卡(172.17.0.1/16)与宿主机网络地址段重叠,引发路由异常。解决方法为修改docker0地址段,通过配置`/etc/docker/daemon.json`调整为非冲突段(如192.168.200.1/24),并重启服务。同时,在`docker-compose.yml`中指定网络模式为`bridge`,最后通过检查docker0地址、网络接口列表及测试容器启动验证修复效果。
|
4月前
|
存储 消息中间件 弹性计算
阿里云服务器ECS计算型c7和通用算力型u1在适用场景、计算性能、网络与存储性能等方面的对比
阿里云ECS服务器u1和c7实例在适用场景、性能、处理器特性等方面存在显著差异。u1为通用算力型,性价比高,适合中小企业及对性能要求不高的场景;c7为企业级计算型,采用最新Intel处理器,性能稳定且强大,适用于高性能计算需求。u1支持多种CPU内存配比,但性能一致性可能受底层平台影响;c7固定调度模式,确保高性能与稳定性。选择时可根据预算与性能需求决定。
236 23
|
9月前
|
人工智能 弹性计算 运维
ACK Edge与IDC:高效容器网络通信新突破
本文介绍如何基于ACK Edge以及高效的容器网络插件管理IDC进行容器化。
|
4月前
计算网络号的直接方法
子网掩码用于区分IP地址中的网络部分和主机部分,连续的“1”表示网络位,“0”表示主机位。例如,255.255.255.0 的二进制为 11111111.11111111.11111111.00000000,前24位是网络部分。通过子网掩码可提取网络号,如 IP 192.168.1.10 与子网掩码 255.255.255.0 的网络号为 192.168.1.0。此外,文档还介绍了十进制与二进制间的转换方法,帮助理解IP地址的组成与计算。
173 11
|
4月前
|
Kubernetes Cloud Native 区块链
Arista cEOS 4.30.10M - 针对云原生环境设计的容器化网络操作系统
Arista cEOS 4.30.10M - 针对云原生环境设计的容器化网络操作系统
112 0
|
11月前
|
存储 安全 Unix
网络文件系统 (NFS)
【10月更文挑战第12天】
388 5
|
11月前
|
存储 缓存 安全
网络文件系统 (NFS)
【10月更文挑战第11天】
279 1
|
7月前
|
人工智能 安全 API
容器化AI模型的安全防护实战:代码示例与最佳实践
本文基于前文探讨的容器化AI模型安全威胁,通过代码示例展示如何在实际项目中实现多层次的安全防护措施。以一个基于TensorFlow的图像分类模型为例,介绍了输入验证、模型加密、API认证和日志记录的具体实现方法,并结合最佳实践,如使用安全容器镜像、限制权限、网络隔离等,帮助构建更安全的AI服务。