云端共享文件系统 JuiceFS 在 2021 年选择开源

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 云端共享文件系统 JuiceFS 在 2021 年选择开源

1460000038930889.png今天,云原生分布式文件系统官方公众号 Juicedata果汁数据科技发布消息称 JuiceFS 已经开源了!

开源地址:https://github.com/juicedata/...


JuiceFS 是什么


JuiceFS是基于Redis和对象存储(例如Amazon S3)构建的开源POSIX文件系统,针对云本机环境进行了设计和优化。通过使用广泛采用的Redis和S3作为持久性存储,JuiceFS可以用作无状态中间件,以使许多应用程序轻松共享数据。

突出的功能是:

  • 完全兼容POSIX:JuiceFS是完全兼容POSIX的文件系统。现有的应用程序可以使用它而无需进行任何更改。请参阅下面的pjdfstest结果。
  • 出色的性能:延迟可以低至几毫秒,并且吞吐量可以扩展到几乎无限。
  • Cloud Native:通过利用云对象存储,您可以独立扩展存储和计算,也就是分解存储和计算架构。
  • 共享:JuiceFS是一个共享文件存储,可以被许多客户端读取和写入。
  • 全局文件锁:JuiceFS支持BSD锁(flock)和POSIX记录锁(fcntl)。
  • 数据压缩:默认情况下,JuiceFS使用LZ4压缩所有数据,也可以使用Zstandard。


JuiceFS的由来


创始人刘洪清清华硕士毕业,毕业后即加入豆瓣成为早期员工,并研发了国内最早的开源 KV 存储 Beansdb 和 DPark ( Python clone of Spark );2013 年他加入 Facebook 总部负责 HDFS 方面的研发,2014 年加入 Databricks,帮助 Spark SQL 实现了上百倍的性能提升。

时值 Davies 负责为 Databricks 的存储层提速,虽然 AWS 已有相关的存储方案,但问题很多,且迟迟无法解决。于是,他提议,自研新的存储方案,系统性地解决问题。

不过,在当时的 Databricks,从架构师到管理层,几乎全部认为风险太大,无人支持 Davies 的提议。Davies 在接受TGO鲲鹏会的采访时表示说:「当时, CTO (注:Matei Zaharia,Apache Spark 作者)亲口对我说:『存储这不是我们擅长的事情,能不碰尽量不要碰。』」

在 Databricks 否决 Davies 的技术方案后,大概 Matei Zaharia 也没有想到,这个中国来的工程师颇有「美式英雄主义」精神。他不但没有放弃,反而用业余时间单枪匹马地写了个原型出来。之后,Davies 回忆道:「我找了一些朋友的公司去试用,发现效果也可以,所以我在想既然有这么不错的东西,就不能埋没它。」

2017 年,Davies 在美国远程敲定了国内的投资和早期客户,叫上当时也在创业的苏锐,共同创立了 Juicedata,并将产品命名为 JuiceFS。


为什么选择开源


刘洪清在创业之初,认为 SaaS 可以为用户提供最佳的体验,同时可以更快地迭代产品,所以决定优先把 SaaS 做好。经过 4 年的持续迭代和积累,JuiceFS 已经在几十家科技企业的大数据、AI、容器平台、归档、备份等场景中形成最佳实践, SaaS 使用量也持续快速增长,并且在过去的 2020 年首次实现了盈亏平衡。他相信找到了可持续发展的模式,有信心保障 JuiceFS 的长期运营。

他也发现闭源的基础软件会限制使用者对它的深度理解,不利于它服务更多的人,依靠 SaaS 产品的收入支撑和开源社区的力量,可以让 JuiceFS 帮助更多的人。


未来发展


最近几年,数据库领域发生了一件有趣的事情:当 NoSQL 数据库在满足了数据的快速增长后,它在一致性、访问便捷性和管理能力方面的不足逐渐显露,把这些复杂性转嫁到了业务系统和运维上,开始被人诟病。同时, SQL 数据库也有了长足的进展,已经能够满足现在的数据规模需求,经过全面的对比分析后,大家又在回归 SQL 数据库,曾经的 NoSQL 运动也逐渐显出颓势。

估计类似的事情也会发生在非结构数据领域。对象存储在媒体文件等场景取得了巨大的成功,但当人们以为它就是未来的存储形态,开始推广到更大范围时,它牺牲掉的树形目录结构、可修改性、元数据性能、一致性等等,变成了一只只拦路虎,影响它在其他场景的使用效果。


JuiceFS 坚信文件系统是最好的管理非结构化数据的方式,对象存储只适用于某些简单场景。分布式文件系统一直是基础软件中难啃的骨头,JuiceFS 通过对文件系统中元数据和数据的独立抽象,大大减低了系统复杂度,使得文件系统能够借助这些年来对象存储和分布式数据库的进展,管理超大规模的数据。同时,复杂度的降低可以让更多的开发者参与进来,未来更多的应用也会建立在文件系统接口之上。

JuiceFS 将通过开源社区的相互协作,一方面为各个应用提供更好的存储支持,也会在底层存储引擎和对象存储上加深协作,一起推动文件存储的快速发展,打造未来数据生态的坚实底座。




相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
目录
相关文章
|
25天前
|
前端开发 JavaScript 安全
开源一款剪贴板跨设备共享工具
`shigen`,编程博主,擅长多种语言,近期自制了一个名为`copyhub`的工具,用于局域网内跨设备同步剪贴板。设计灵感源于对现有共享工具的安全顾虑,采用`Flask`和`Redis`实现,前端直接HTML+JS,简化架构。用户通过取件码交换内容,不涉及复杂功能。代码已开源并在个人腾讯云服务器上部署。更多详情见shigen的GitHub和哔哩哔哩频道。一起探索,每天进步!
33 1
开源一款剪贴板跨设备共享工具
|
7月前
|
Oracle 关系型数据库 Linux
大神教您如何安装windows操作系统,实现物理与虚拟机的无缝对接
大神教您如何安装windows操作系统,实现物理与虚拟机的无缝对接
158 0
|
1月前
|
存储 测试技术 C++
P2P网络下分布式文件共享场景的测试
P2P网络下分布式文件共享场景的测试
33 6
|
6月前
|
存储 PHP 数据安全/隐私保护
Cpolar和极简主义文件管理器:为用户提供高效稳定的个人云存储服务
Cpolar和极简主义文件管理器:为用户提供高效稳定的个人云存储服务
如何高效管理自己的电脑?文件再多也不乱!
1. 盘符管理 C盘只装系统软件,其他软件装到D盘 绿色软件就是解压就能用,不需要安装 有些软件直接该盘符就能安装,不能改的手动选择 2.找一个盘符作为自己的工作空间 这里我选了E盘作为我的工作空间,在自己工作盘符里面新建文件夹,按大类进行分类创建方便以后查找 3. 统一下载目录 4. 快速启动 将主要工作空间放到桌面快捷访问,直接在桌面点击快速进入。 快速访问 5. 文件夹管理 6. 文件夹图标修改
241 0
如何高效管理自己的电脑?文件再多也不乱!
|
11月前
|
存储 固态存储 大数据
大数据开发基础的操作系统的文件管理
在大数据开发中,操作系统的文件管理是非常基础和重要的概念。这些概念可以帮助我们更好地理解计算机系统的工作原理和方式,并且对于实现高效的大数据处理和传输具有重要的意义。以下是这些概念的简要介绍。
106 0
|
存储 容灾 Linux
UOS统一操作系统,让我们拥抱中文操作系统,打造属于自己的私人企业级网盘
UOS统一操作系统,让我们拥抱中文操作系统,打造属于自己的私人企业级网盘
447 0
UOS统一操作系统,让我们拥抱中文操作系统,打造属于自己的私人企业级网盘
|
存储 安全 Linux
绝了,这款P2P全平台的文件同步工具,开源且不依赖中心服务器
绝了,这款P2P全平台的文件同步工具,开源且不依赖中心服务器
绝了,这款P2P全平台的文件同步工具,开源且不依赖中心服务器
|
存储 安全 文件存储
桌面云+企业云盘,超完美的桌面数据存储管理解决方案
怎样提高桌面云“存储力”,并实现企业的数据权限管理?桌面云与企业云盘的结合,让企业在减轻IT运维管理压力的同时,提升数据的安全管理能力。
4831 0