开发者社区> 张包峰> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

Tachyon简介及目前可用性分析

简介:
+关注继续查看

简介

翻译tachyon wiki上的介绍

Tachyon是一个高容错的分布式文件系统,允许文件以内存的速度在集群框架中进行可靠的共享,就像Spark和 MapReduce那样。通过利用信息继承,内存侵入,Tachyon获得了高性能。Tachyon工作集文件缓存在内存中,并且让不同的 Jobs/Queries以及框架都能内存的速度来访问缓存文件”。因此,Tachyon可以减少那些需要经常使用的数据集通过访问磁盘来获得的次数。


使用

鉴于Tachyon也是AMP实验室开发的项目,属Spark整个生态环境里的一部分,原本打算尝试让Spark/Shark在Tachyon上跑,看看速度/性能有没有一些提升。


Tachyon目前发布的release版本是0.2的,支持CDH3。支持CDH4的tachyon-0.3版本还未发布,不过可以在0.3-branch上下载到,需要自己编译打包,依赖的jdk是1.7的。想要部署cluster,让Spark和Shark在上面跑的话,可以参考下面几份wiki,

https://github.com/amplab/tachyon/wiki/Running-Tachyon-on-a-Cluster
https://github.com/amplab/tachyon/wiki/Running-Spark-on-Tachyon
https://github.com/amplab/tachyon/wiki/Running-Shark-on-Tachyon
部署和使用还是很方便的,可以用

./start.sh SudoMount
启动master和所有workers,然后在webui上看到worker情况以及FileSystem内已经存储的文件情况。

./run-tests.sh
测试文件里,写死了$MASTER_ADDRESS的端口,如果在/conf/tachyon-env.sh里修改了端口的话,需要保持一致。


可用性

最近新发布的shark-0.8,发布的pre-built版本是默认不支持tachyon的,因为shark-0.8的标配是spark-0.8,scala-2.9.3和cdh4,而tachyon的支持cdh4的0.3版本如上所述还未正式发布,所以我在shark-0.8上基于tachyon create table的时候,提示版本不支持。具体在SharkBuild.scala里可以看到编译的时候没有enable:

// Shark version
  val SHARK_VERSION = "0.8.0"

  val SPARK_VERSION = "0.8.0-incubating"

  val SCALA_VERSION = "2.9.3"

  // Hadoop version to build against. For example, "0.20.2", "0.20.205.0", or
  // "1.0.1" for Apache releases, or "0.20.2-cdh3u3" for Cloudera Hadoop.
  val DEFAULT_HADOOP_VERSION = "1.0.4"

  lazy val hadoopVersion = env("SHARK_HADOOP_VERSION") orElse
                           env("SPARK_HADOOP_VERSION") getOrElse
                           DEFAULT_HADOOP_VERSION

  // Whether to build Shark with Yarn support
  val YARN_ENABLED = env("SHARK_YARN").getOrElse("false").toBoolean

  // Whether to build Shark with Tachyon jar.
  val TACHYON_ENABLED = false
另一方面,我用shark-0.7跑的时候,会出一些奇怪的问题,在google的tachyon user上看了相关帖子,很多问题和bug都说会在0.3或者future release中解决,觉得tachyon还不够成熟和稳定,暂时还不敢继续尝试使用。至少等到0.3正式发布,再观望一下情况。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Spark 原理_总体介绍_集群环境 | 学习笔记
快速学习 Spark 原理_总体介绍_集群环境
0 0
Apache Flume-高阶-容错(故障转移)功能|学习笔记
快速学习 Apache Flume-高阶-容错(故障转移)功能
0 0
带你读《存储漫谈Ceph原理与实践》第一章分布式存储概述1.2各主流分布式方案对比(一)
《存储漫谈Ceph原理与实践》第一章分布式存储概述1.2各主流分布式方案对比
0 0
带你读《存储漫谈Ceph原理与实践》第一章分布式存储概述1.2各主流分布式方案对比(二)
带你读《存储漫谈Ceph原理与实践》第一章分布式存储概述1.2各主流分布式方案对比
0 0
Hadoop手把手逐级搭建,从单机伪分布到高可用+联邦(0): 概述
目标 1). 零基础手把手纯操作,包含每个细节 2). 逐级进阶,每个阶段都在上一阶段的基础上修改而成
1210 0
利用Alluxio系统提升按需数据分析服务的性能
Alluxio是部署在计算群集中的虚拟的分布式存储系统,为上层应用的I/O提供内存级访问速度的性能。
3558 0
基于Hadoop的云盘系统客户端技术难点之三 小文件存储优化
作者:张子良 版权所有,转载请注明出处。 一、概述 首先明确概念,这里的小文件是指小于HDFS系统Block大小的文件(默认64M),如果使用HDFS存储大量的小文件,将会是一场灾难,这取决于HDFS的实现机制和框架结构,每一个存储在HDFS中的文件、目录和块映射为一个对象存储在NameNode服务器内存中,通常占用150个字节。
834 0
+关注
张包峰
分布式系统 http://weibo.com/pelickzhang
文章
问答
文章排行榜
最热
最新
相关电子书
更多
HBase高效一键迁移的设计与实践
立即下载
在多租户环境中提高HBase可用性
立即下载
分布式流处理框架——功能对比和性能评估
立即下载