A16Z 750万美元投资分布式文件系统 Tachyon

简介:

据 WSJ消息,Tachyon日前获得了硅谷风投 A16Z 750 万美元 A 轮投资。A16Z 的普通合伙人 Peter Levine 加入 Tachyon 董事会。

根据该项目官网的介绍,Tachyon 是一个以内存为中心的分布式文件系统,能够为集群框架(如 Spark、MapReduce)提供可靠的内存级速度的文件共享服务,具有类 Java 的文件 API、兼容 Hadoop MapReduce 和 Spark、底层文件系统可插拔等特性。

Tachyon 最初出现是为了解决如下问题:

  • 大数据分析流水线中数据共享通过基于磁盘文件系统(HDFS等)性能比较缓慢;
  • 大数据计算引擎的处理进程(Spark的Executor,MapReduce的Child JVM等)崩溃出错后,缓存的数据也会全部丢失;
  • 基于内存的系统存储数据冗余,对象太多会导致Java GC时间过长。

Tachyon 整体架构如下图所示(移步了解 Tachyon),


<a href=https://yqfile.alicdn.com/95fcdb8c77648e3033299cb5f6f9cf39aed7a101.png" >

据悉,Tachyon 项目在 2012 年底对外发布,孵化自 UCLA Berkeley 的AMP实验室,由计算机在读博士李浩源创立,Tachyon 同样是李浩源的博士攻读方向。在接受InfoQ采访时李浩源表示,

长期来讲,我们会像 Apache Mesos 以及 Apache Spark 一样,进入 Apache Software Foundation。这里欢迎更多的开发者加入。

目前,这个开源项目已经吸引了超过 30 家公司的 70 多名贡献者。包括雅虎、红帽、Intel 还有 EMC,而 EMC 已经在其闪存产品 DSSD、Isilon 中尝试集成 Tachyon。创始人李浩源表示,Tachyon 的商业软件正在开发中,没有确切发布的时间。

值得注意的是,A16Z 还投资了大数据初创公司Adatao、Mesosphere、Databricks等,对新兴的大数据领域、数据分析软件看好。这几家公司和 Tachyon 一样,均与 AMP 实验室有联系。
文章转载自 开源中国社区 [http://www.oschina.net]

相关文章
|
JavaScript 测试技术 持续交付
在vue中封装第三方组件的标准
在Vue.js项目中,第三方组件库虽能提升开发效率与用户体验,但直接使用可能导致代码结构混乱和样式冲突。为此,本文介绍如何优雅封装第三方组件,包括封装的目的、准备步骤、具体实现方法及处理样式冲突的策略。通过创建专门的封装组件、设计简洁的接口以及有效地管理样式,不仅能统一应用风格,还能显著提高代码的可维护性和可复用性。此外,还提供了封装Element UI Button组件的具体示例,帮助开发者更好地理解封装流程。
|
Kubernetes Java API
|
测试技术 调度 C++
六年打磨!阿里开源混沌工程工具 ChaosBlade
减少故障的最好方法就是让故障经常性的发生。通过不断重复失败过程,持续提升系统的容错和弹性能力。今天,阿里巴巴把六年来在故障演练领域的创意和实践汇浓缩而成的工具进行开源,它就是 “ChaosBlade”。如果你想要提升开发效率,不妨来了解一下。
12191 0
|
12月前
|
安全 Linux Android开发
探索安卓与iOS的安全性差异:技术深度分析
本文深入探讨了安卓(Android)和iOS两个主流操作系统平台在安全性方面的不同之处。通过比较它们在架构设计、系统更新机制、应用程序生态和隐私保护策略等方面的差异,揭示了每个平台独特的安全优势及潜在风险。此外,文章还讨论了用户在使用这些设备时可以采取的一些最佳实践,以增强个人数据的安全。
|
机器学习/深度学习 人工智能 弹性计算
【ModelScope测评】实现对视频上传的自动化分类
对不起,我是开发小白,纯纯新手OvO
22123 6
【ModelScope测评】实现对视频上传的自动化分类
|
SQL Oracle 关系型数据库
Oracle 修改表空间数据文件存储位置
一、方法一 1、以表空间ZZH为例,offline 表空间ZZH SQL> alter tablespace ZZH offline; 2、复制数据文件到新的目录 cp /old_path/ZZH01.
3177 0
|
存储 监控 Java
社区文章|MOSN 社区性能分析利器——Holmes 原理浅析
我是在开发工作过程中了解到 Holmes 的,为了保障系统稳定性需要一个性能排查工具,因此也需要一个保留现场的性能监控工具。当我在网上查询该方面的开源库时,发现可用的并不多。后续找到 MOSN 社区的 Holmes ,发现这个开源库功能基本齐全、扩展性也高,特别是 GCHeapDump 这个业界领先的功能,对解决内存升高的问题十分有用。 2021 年年末了解到的 Holmes 组件,然后开始了解 Holmes 所在的 MOSN 社区。Holmes 作为性能排查工具,核心功能是及时发现性能指标异常,并对系统进行 Profiling。
社区文章|MOSN 社区性能分析利器——Holmes 原理浅析
|
SQL 运维 监控
最新发布!《阿里云实时计算 Flink 版解决方案白皮书-2021版》开放下载
阿里云实时计算 Flink 版解决方案白皮书-2021版正式发布~
|
存储 人工智能 运维
用友NC Cloud与阿里云数据库互认证,共同推进大型企业数字化转型
近日,用友网络与阿里云达成全新合作,用友NC Cloud大型企业数字化平台与阿里云自研数据库PolarDB完成相互认证。未来,双方将携手服务大型企业客户,加速企业数智化转型和商业创新。
610 0
用友NC Cloud与阿里云数据库互认证,共同推进大型企业数字化转型