Fluid 0.4 新版本正式发布:支持数据预热,优化小文件场景-阿里云开发者社区

开发者社区> 阿里巴巴云原生小助手> 正文

Fluid 0.4 新版本正式发布:支持数据预热,优化小文件场景

简介: 为了解决大数据、AI 等数据密集型应用在云原生计算存储分离场景下,存在的数据访问延时高、联合分析难、多维管理杂等痛点问题,南京大学 PASALab、阿里巴巴、Alluxio 在 2020 年 9 月份联合发起了开源项目 Fluid。近期 Fluid 0.4 版本正式发布,主要新增了四项重要功能。
+关注继续查看

A7325037-1073-4606-AFA7-F0AC90A4E115.png

作者 | 顾荣
Photo Creidt @ 轻零

导读:为了解决大数据、AI 等数据密集型应用在云原生计算存储分离场景下,存在的数据访问延时高、联合分析难、多维管理杂等痛点问题,南京大学 PASALab、阿里巴巴、Alluxio 在 2020 年 9 月份联合发起了开源项目 Fluid。

近期 Fluid 0.4 版本正式发布,主要新增了以下四项重要功能,分别是:

  • 通过 DataLoad 自定义资源,提供简单易用且可定制的数据预热能力
  • 增强海量小文件数据集的支撑能力,扩展 Fluid 对 AI 应用的支持场景
  • 开放 HDFS 文件系统兼容接口,支持 Spark 等框架的数据访问
  • 支持多数据集单节点混合部署,适应生产环境中的共享集群环境

Fluid 项目地址https://github.com/fluid-cloudnative/fluid

与 Fluid 0.3 类似,上述功能的开发需求同样来自众多社区用户的生产实际反馈,此外,Fluid v0.4 还进行了一些 bug 修复和文档更新,欢迎使用体验 Fluid v0.4!感谢为此版本做出贡献的社区小伙伴,在接下来的版本功能迭代中,我们会继续广泛关注和采纳社区建议,推动 Fluid 项目的发展,期待听到大家更多的反馈!下文是本次新版本发布功能的进一步介绍。

支持主动的数据预热

在进行 AI 应用的模型训练时,数据预热是一种常见的优化手段。数据预热是指在应用运行前,将应用所需要的数据预先从远程存储系统中拉取到本地的计算集群,供之后应用运行时使用。数据预热通过一种顺序的、有规则的并行数据读取模式,避免了数据密集型应用直接消费远程存储系统数据时,因为随机数据读取造成的许多不必要的通信开销

因此,在 Fluid 0.4 版本中,我们实现了一个新的 Kubernetes 自定义资源 - DataLoad,以 Kubernetes 资源的方式为用户提供了声明式的 API 接口,以控制数据预热的相关行为。DataLoad 自定义资源的一个简单示例如下所示:

apiVersion: data.fluid.io/v1alpha1
kind: DataLoad
metadata:
  name: imagenet-dataload
spec:
  dataset:
    name: imagenet
    namespace: default

另外,通过少量的额外配置,DataLoad 还可实现子目录加载、缓存副本数量控制、元数据同步等许多可定制的功能,更多与 DataLoad 使用相关的细节请参考 Github 上的示例文档

有关 DataLoad 使用与优化效果的演示视频如下:http://cloud.video.taobao.com/play/u/2987821887/p/1/e/6/t/1/287213603893.mp4

增强海量小文件数据集的支撑能力

Fluid 是云原生环境下数据密集型应用的高效支撑平台,因此我们自始至终都在密切关注着 Fluid 提供的数据集支撑能力在不同场景下的适用性。在 Fluid 0.4 版本之前,Fluid 已经提供了诸如抽象、管理、加速、可观测性等一系列数据集支撑能力,然而,根据社区成员的使用反馈,上述能力在海量小文件场景下的支持还是非常初级。

考虑到海量小文件数据集在真实生产环境,尤其是 AI 应用场景的普遍性,我们对海量小文件带来的问题进行了深入的探究,提出了如异步元数据加载查询、流式数据处理等解决方案,这些解决方案目前均已集成至 Fluid 0.4 版本中,以增强 Fluid 对海量小文件数据集的支撑能力

以下是 Fluid 使用 Alluxio Runtime 在 400 万小文件场景下的优化后的部分性能对比评估结果

Dingtalk_20201117100516.jpg

海量小文件的存储管理是许多存储系统都会遇到的棘手难题,在后续的版本中,我们会继续关注这个场景以及它所带来的问题。

方便 Spark 等大数据计算框架提供数据访问支持

除了 AI 应用外,Fluid 0.4 同样支持 Spark 等大数据应用在其上运行。通过向用户暴露 Alluxio 分布式缓存引擎的 Hadoop 文件系统兼容接口 (HCFS),使得 Hadoop MapReduce, Apache Spark 等大数据计算框架编写的数据分析应用,能够在不修改应用代码的情况下,直接运行于 Fluid 之上,并享受到由 Fluid 提供的分布式缓存加速等能力

更多关于通过 HCFS 接口访问数据的细节,请参考 Github 上的示例文档

多数据集单节点混合部署

在真实的生产环境中,用户会在 Kubernetes 集群中的 GPU 节点上训练多个任务使用多个数据集,在 Fluid 0.4 版本之前,单节点无法同时进行多个数据集的混合部署,因此,如果多个用户同时期望在同一个节点访问各自所需的数据集,会出现某个用户的数据集无法创建的情况。

在 Fluid 0.4 版本中,我们为 Fluid 增加了多数据集单节点混合部署的能力,这意味着,只要该节点上的资源足够,来自不同用户的多个数据集部署冲突的问题将不再发生,该能力将使得 Fluid 更加适应实际生产环境的需求。另一方面,混合部署能够有效利用空闲资源,增加集群中各个节点的集群资源利用率,进一步提高 Fluid 带来的成本收益。

有关多数据集单节点混合部署的简单介绍,可参考 Github 上的示例文档

致谢

  • 徐之浩(南京大学 PASALab)对于支持小文件场景和数据预热功能的贡献
  • 谢远东(云知声)对于多数据集单节点混合部署功能开发和场景验证
  • 仇伶玮(中国电信)对于 Fluid 架构拆分的贡献,他将 runtime 和 dataset 控制器拆分,支持未来两个组件的并行演进

总结

Fluid 0.4 版本将继续致力于解决社区用户在实际生产环境中反馈的问题和需求,扩展 Fluid 在各场景的适用性,提升用户体验:

  • 首先,对海量小文件数据集支撑能力的优化使 Fluid 能够更好地应对不同的使用场景;
  • 其次,全新的 DataLoad 自定义资源为用户提供了一种简单的数据预热解决方案;
  • 再者,对 Spark 等大数据应用数据访问的支持使得 Fluid 能够为不同种类的数据密集型应用提供支撑能力;
  • 最后,多数据集的混合部署使得 Fluid 更能适应实际生产环境的需求。

如果您有任何疑问或建议,欢迎加入钉钉交流群参与和讨论:https://img.alicdn.com/tfs/TB1Cm4ciNvbeK8jSZPfXXariXXa-452-550.png

作者简介

顾荣  博士,南京大学计算机系副研究员,研究方向大数据处理系统,已在 TPDS、ICDE、JPDC、IPDPS、ICPP 等领域前沿期刊会议发表论文 20 余篇,主持国家自然科学基金面上项目/青年项目、中国博士后科学基金特别资助项目多项,研究成果落地应用于阿里巴巴、百度、字节跳动、中国石化、华泰证券等公司和开源项目 Apache Spark、Alluxio,获 2018 年度江苏省科学技术一等奖、2019 年度江苏省计算机学会青年科技奖,担任中国计算机学会系统软件专委会委员/大数据专委会通讯委员、江苏省计算机学会大数据专委会秘书长、Fluid 开源项目 co-founder、Alluxio 开源项目 PMC 成员。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
特殊权限set_uid /特殊权限set_gid/特殊权限stick_bit/软链接文件/硬连接文件
  2.18 特殊权限set_uid  2.19 特殊权限set_gid 2.20 特殊权限stick_bit 2.21 软链接文件 2.22 硬连接文件   特殊权限set_uid(s权限用户user权限)   [root@centos_1 ~]# ls -l /usr/bin/passwd  -rwsr-xr-x.
981 0
修改文件后缀的C语言实现
        在实际的软件开发项目中,大家也许会遇到修改文件的后缀的需求(例如,将doc格式修改为docx格式)。本文提供了修改文件后缀的C语言实现,并演示了修改文件后缀的过程。
1233 0
OpenKruise v0.5.0 版本发布,支持无损的流式分批发布策略
目前在阿里巴巴内部云原生环境中,绝大部分应用都统一使用 OpenKruise 的能力做 Pod 部署、发布管理,而不少业界公司和阿里云上客户由于 K8s 原生 Deployment 等负载不能完全满足需求,也转而采用 OpenKruise 作为应用部署载体。
278 0
编译squid之文件描述符
文件描述符是一个简单的整数,用以标明每一个被进程所打开的文件和socket。第一个打开的文件是0,第二个是1,依此类推。Unix操作系统通常给每个进程能打开的文件数量强加一个限制。更甚的是,unix通常有一个系统级的限制。 因为squid的工作方式,文件描述符的限制可能会极大的影响性能。当squid用完所有的文件描述符后,它不能接收用户新的连接。也就是说,用完文件描述符导致拒绝服务。直到
1192 0
Fluid 0.3 新版本正式发布:实现云原生场景通用化数据加速
为了解决大数据、AI 等数据密集型应用在云原生计算存储分离场景下,存在的数据访问延时高、联合分析难、多维管理杂等痛点问题,南京大学 PASALab、阿里巴巴、Alluxio 在 2020 年 9 月份联合发起了开源项目 Fluid。
7347 0
阿里云容器网络文件系统 CNFS 1.0 发布,体验云原生时代的容器共享存储
简介:CNFS 通过将阿里云的文件存储抽象为一个 Kubernetes 对象(CRD)进行独立管理,包括创建、删除、描述、挂载,监控及扩容等运维操作,使用户可以在享受容器使用文件存储带来的便捷的同时,提高文件存储的性能和数据安全,并提供容器一致的声明式管理。
121 0
VMware备份文件即时恢复功能全新发布
HBR的VMware备份/恢复都是整机维度的,但是有些时候,我们或许只想要恢复备份中的某个文件,这样在恢复一个完整的虚拟机就有点高射炮打蚊子了。我们能不能直接从备份的数据里捞出来想要的文件呢?文件级恢复的功能便应运而生。
202 0
1314
文章
0
问答
来源圈子
更多
阿里云 云原生应用平台 肩负阿里巴巴集团基础设施云化以及核心技术互联网化的重要职责,致力于打造稳定、标准、先进的云原生产品,成为云原生时代的引领者,推动行业全面想云原生的技术升级,成为阿里云新增长引擎。商业化产品包括容器、云原生中间件、函数计算等。
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载