开发者社区> 技术小哥哥> 正文

Tachyon的配置详解

简介:
+关注继续查看

Tachyon的配置

  • Tachyon环境变量

  • Tachyon通用配置

  • TachyonMaster配置

  • TachyonWorker配置

  • 用户配置

 

 

 

 

 

 

 

1 Tachyon的配置

  这里以0.5.0版本为例,介绍Tachyon中可配置参数的具体含义。Tachyon中的可配置项分为两类,一种是系统环境变量,用于在不同脚本间共享配置信息;另一种是程序运行参数,通过-D选项传入运行Tachyon的JVM中。程序运行参数又分为:

  • 通用配置(Common Configuration)
  • TachyonMaster配置(Master Configuration)
  • TachyonWorker配置(Worker Configuration)
  • 用户配置(User Configuration)

 

要修改或添加这些可配置项,可修改conf/tachyon-env.sh文件。

 

 

1.1 Tachyon环境变量

配置项

配置项说明

JAVA_HOME

系统中JDK的安装路径

TACHYON_RAM_FOLDER

配置ramfs挂载的文件目录,默认为/mnt/ramdisk

TACHYON_MASTER_ADDRESS

启动TachyonMaster的地址,默认为localhost,所以在单机模式下不用更改

TACHYON_UNDERFS_ADDRESS

Tachyon使用的底层文件系统的路径,本地文件系统(单机模式下),如"/tmp/tachyon",或HDFS,如"hdfs://ip:port"

TACHYON_WORKER_MEMORY_SIZE

每个TachyonWorker使用的RamFS大小,默认为1GB

 

 

 

 

1.2 Tachyon通用配置

配置项

配置项说明

tachyon.underfs.address

Tachyon在底层文件系统的的路径,默认为$TACHYON_UNDERFS_ADDRESS

tachyon.home

Tachyon的安装路径,启动Tachyon时为当前 tachyon 文件夹的路径

tachyon.data.folder

Tachyon数据在底层文件系统的存放路径,默认为$TACHYON_UNDERFS_ADDRESS/tmp/tachyon/data

tachyon.workers.folder

TachyonWorkers在底层文件系统的工作路径,默认为$TACHYON_UNDERFS_ADDRESS/tmp/tachyon/workers

tachyon.usezookeeper

TachyonMaster是否使用ZooKeeper容错,默认为false

tachyon.zookeeper.adress

如果启用,ZooKeeper的地址

tachyon.zookeeper.election.path

如果启用,Zookeeper的election文件夹路径,默认为/election

tachyon.zookeeper.leader.path

如果启用,Zookeeper的leader文件夹路径,默认为/leader

tachyon.underfs.hdfs.impl

实现HDFS的类,默认org.apache.hadoop.hdfs,DistributedFileSystem

tachyon.max.columns

Tachyon中RawTable允许的最大列数,默认为1000

tachyon.table.metadata.byte

Tachyon中RawTable元数据允许存储的最大字节数,默认为5242880,即5MB

tachyon.underfs.glusterfs.impl

如果使用GlusterFS为底层文件系统,实现GlusterFS的类,默认为org.apache.hadoop.fs.glusterfs.GlusterFileSystem

tachyon.underfs.glusterfs.mounts

如果使用GlusterFS为底层文件系统,GlusterFS卷的挂载目录

tachyon.underfs.glusterfs.volumes

如果使用GlusterFS为底层文件系统,GlusterFS的卷名

tachyon.underfs.glusterfs.mapred.system.dir

如果使用GlusterFS为底层文件系统,GlusterFS用于存放MapReduce中间数据的可选子目录,默认为glusterfs:///mapred/system

tachyon.web.resources

Tachyon WebUI可用的资源,默认为$tachyon.home/core/src/main/webapp

tachyon.async.enabled

是否启用异步模式,默认为false

tachyon.underfs.hadoop.prefixes

底层使用hadoop文件系统的前缀列表,默认为"hdfs://","s3://","s3n://","glusterfs:///"

tachyon.test.mode

是否启用测试模式,默认为false

tachyon.master.retry

连接重试次数,默认为29

 

1.3 TachyonMaster配置

配置项

配置项说明

tachyon.master.worker.timeout.ms

TachyonMaster和TachyonWorker心跳包失效时长,默认为60000ms

tachyon.master.journal.folder

TachyonMaster的journal日志存放路径,默认为$TACHYON_HOME/journal/

tachyon.master.hostname

TachyonMaster的主机名

tachyon.master.port

TachyonMaster的远程调用通讯端口,默认为19998

tachyon.master.web.port

TachyonMaster的WebUI端口,默认为19999

tachyon.master.web.threads

TachyonMaster的WebUI线程数,默认为9

tachyon.master.whitelist

可缓存的路径前缀列表,列表以逗号隔开,表示该路径下的文件能够被缓存至内存,默认为/,即根目录

tachyon.master.temporary.folder

TachyonMaster的临时文件夹,默认为/tmp

tachyon.master.heartbeat.interval.ms

TachyonMaster心跳包间隔时间,默认为1000ms

tachyon.master.selector.threads

TachyonMaster的thrift监听线程数,默认为3

tachyon.master.queue.size.per.selector

TachyonMaster的thrift消息队列长度,默认为3000

tachyon.master.server.threads

TachyonMaster节点的thrift服务线程数,默认为CPU核数的2倍

tachyon.master.pinlist

常驻内存的文件列表,以逗号隔开,表示该路径下的文件不会从内存中剔除,默认为null

 

 

1.4 TachyonWorker配置

配置项

配置项说明

tachyon.worker.data.folder

TachyonWorker在RamFS中的工作路径,默认为$TACHYON_RAM_FOLDER/tachyonworker/

tachyon.work.port

TachyonWorker的远程调用通讯端口,默认为29998

tachyon.worker.data.port

TachyonWorker的数据传输服务的端口,默认为29999

tachyon.worker.memory.size

TachyonWorker所使用的RamFS大小,默认为$TACHYON_WORKER_MEMORY_SIZE

tachyon.worker.heartbeat.timeout.ms

TachyonWorker心跳包失效的时长,默认为10000ms

tachyon.worker.to.master.heartbeat.interval.ms

TachyonWorker向TachyonMaster发送心跳包的时间间隔,默认为1000ms

tachyon.worker.selector.threads

TachyonWorker的thrift监听线程数,默认为3

tachyon.worker.queue.size.per.selector

TachyonWorker的thrift消息队列长度,默认为3000

tachyon.worker.server.threads

TachyonWorker的thrift服务线程数,默认为CPU核数

tachyon.worker.user.timeout.ms

TachyonWorker和用户之间心跳包失效时长,默认为10000ms

tachyon.worker.checkpoint.threads

TachyonWorker的checkpoint线程数,默认为1

tachyon.worker.per.thread.checkpoint.cap.mb.sec

TachyonWorker的checkpoint的速度,默认为1000MB/s

tachyon.worker.network.type

TachyonWorker在传输文件数据时使用的传输方式,默认为NETTY,可选为NIO或NETTY

 

 

 

 

1.5 用户配置

配置项

配置项说明

tachyon.user.failed.space.request.limits

用户向文件系统请求空间失败时的最大重试次数,默认为3

tachyon.user.quota.unit.bytes

客用户一次向TachyonWorker请求的最少字节数,默认为8388608,即8MB

tachyon.user.file.buffer.byte

用户读写文件时的缓存区大小,默认为1048576,即1MB

tachyon.user.default.block.size.byte

用户创建文件时的默认块大小,默认为1073741824,即1GB

tachyon.user.remote.read.buffer.size.byte

用户读远程文件时的缓冲区大小,默认为1048576,即1MB

tachyon.user.heartbeat.interval.ms

用户心跳包时间间隔,默认为1000ms

tachyon.user.file.writetype.default

用户在使用tachyon.hadoop.TFS时的默认写类型,默认为CACHE_THROUGH




本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/6786316.html,如需转载请自行联系原作者

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云ECS云服务器初始化设置教程方法
阿里云ECS云服务器初始化是指将云服务器系统恢复到最初状态的过程,阿里云的服务器初始化是通过更换系统盘来实现的,是免费的,阿里云百科网分享服务器初始化教程: 服务器初始化教程方法 本文的服务器初始化是指将ECS云服务器系统恢复到最初状态,服务器中的数据也会被清空,所以初始化之前一定要先备份好。
16671 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,大概有三种登录方式:
13589 0
腾讯云服务器 设置ngxin + fastdfs +tomcat 开机自启动
在tomcat中新建一个可以启动的 .sh 脚本文件 /usr/local/tomcat7/bin/ export JAVA_HOME=/usr/local/java/jdk7 export PATH=$JAVA_HOME/bin/:$PATH export CLASSPATH=.
14905 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,云吞铺子总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系统盘、创建快照、配置安全组等操作如何登录ECS云服务器控制台? 1、先登录到阿里云ECS服务器控制台 2、点击顶部的“控制台” 3、通过左侧栏,切换到“云服务器ECS”即可,如下图所示 通过ECS控制台的远程连接来登录到云服务器 阿里云ECS云服务器自带远程连接功能,使用该功能可以登录到云服务器,简单且方便,如下图:点击“远程连接”,第一次连接会自动生成6位数字密码,输入密码即可登录到云服务器上。
36479 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
29209 0
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
23589 0
2010
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
JS零基础入门教程(上册)
立即下载
性能优化方法论
立即下载
手把手学习日志服务SLS,云启实验室实战指南
立即下载