Tachyon的配置
-
Tachyon环境变量
-
Tachyon通用配置
-
TachyonMaster配置
-
TachyonWorker配置
-
用户配置
1 Tachyon的配置
这里以0.5.0版本为例,介绍Tachyon中可配置参数的具体含义。Tachyon中的可配置项分为两类,一种是系统环境变量,用于在不同脚本间共享配置信息;另一种是程序运行参数,通过-D选项传入运行Tachyon的JVM中。程序运行参数又分为:
- 通用配置(Common Configuration)
- TachyonMaster配置(Master Configuration)
- TachyonWorker配置(Worker Configuration)
- 用户配置(User Configuration)
要修改或添加这些可配置项,可修改conf/tachyon-env.sh文件。
1.1 Tachyon环境变量
配置项
|
配置项说明
|
JAVA_HOME
|
系统中JDK的安装路径
|
TACHYON_RAM_FOLDER
|
配置ramfs挂载的文件目录,默认为/mnt/ramdisk
|
TACHYON_MASTER_ADDRESS
|
启动TachyonMaster的地址,默认为localhost,所以在单机模式下不用更改
|
TACHYON_UNDERFS_ADDRESS
|
Tachyon使用的底层文件系统的路径,本地文件系统(单机模式下),如"/tmp/tachyon",或HDFS,如"hdfs://ip:port"
|
TACHYON_WORKER_MEMORY_SIZE
|
每个TachyonWorker使用的RamFS大小,默认为1GB
|
1.2 Tachyon通用配置
配置项
|
配置项说明
|
tachyon.underfs.address
|
Tachyon在底层文件系统的的路径,默认为$TACHYON_UNDERFS_ADDRESS
|
tachyon.home
|
Tachyon的安装路径,启动Tachyon时为当前 tachyon 文件夹的路径
|
tachyon.data.folder
|
Tachyon数据在底层文件系统的存放路径,默认为$TACHYON_UNDERFS_ADDRESS/tmp/tachyon/data
|
tachyon.workers.folder
|
TachyonWorkers在底层文件系统的工作路径,默认为$TACHYON_UNDERFS_ADDRESS/tmp/tachyon/workers
|
tachyon.usezookeeper
|
TachyonMaster是否使用ZooKeeper容错,默认为false
|
tachyon.zookeeper.adress
|
如果启用,ZooKeeper的地址
|
tachyon.zookeeper.election.path
|
如果启用,Zookeeper的election文件夹路径,默认为/election
|
tachyon.zookeeper.leader.path
|
如果启用,Zookeeper的leader文件夹路径,默认为/leader
|
tachyon.underfs.hdfs.impl
|
实现HDFS的类,默认org.apache.hadoop.hdfs,DistributedFileSystem
|
tachyon.max.columns
|
Tachyon中RawTable允许的最大列数,默认为1000
|
tachyon.table.metadata.byte
|
Tachyon中RawTable元数据允许存储的最大字节数,默认为5242880,即5MB
|
tachyon.underfs.glusterfs.impl
|
如果使用GlusterFS为底层文件系统,实现GlusterFS的类,默认为org.apache.hadoop.fs.glusterfs.GlusterFileSystem
|
tachyon.underfs.glusterfs.mounts
|
如果使用GlusterFS为底层文件系统,GlusterFS卷的挂载目录
|
tachyon.underfs.glusterfs.volumes
|
如果使用GlusterFS为底层文件系统,GlusterFS的卷名
|
tachyon.underfs.glusterfs.mapred.system.dir
|
如果使用GlusterFS为底层文件系统,GlusterFS用于存放MapReduce中间数据的可选子目录,默认为glusterfs:///mapred/system
|
tachyon.web.resources
|
Tachyon WebUI可用的资源,默认为$tachyon.home/core/src/main/webapp
|
tachyon.async.enabled
|
是否启用异步模式,默认为false
|
tachyon.underfs.hadoop.prefixes
|
底层使用hadoop文件系统的前缀列表,默认为"hdfs://","s3://","s3n://","glusterfs:///"
|
tachyon.test.mode
|
是否启用测试模式,默认为false
|
tachyon.master.retry
|
连接重试次数,默认为29
|
1.3 TachyonMaster配置
配置项
|
配置项说明
|
tachyon.master.worker.timeout.ms
|
TachyonMaster和TachyonWorker心跳包失效时长,默认为60000ms
|
tachyon.master.journal.folder
|
TachyonMaster的journal日志存放路径,默认为$TACHYON_HOME/journal/
|
tachyon.master.hostname
|
TachyonMaster的主机名
|
tachyon.master.port
|
TachyonMaster的远程调用通讯端口,默认为19998
|
tachyon.master.web.port
|
TachyonMaster的WebUI端口,默认为19999
|
tachyon.master.web.threads
|
TachyonMaster的WebUI线程数,默认为9
|
tachyon.master.whitelist
|
可缓存的路径前缀列表,列表以逗号隔开,表示该路径下的文件能够被缓存至内存,默认为/,即根目录
|
tachyon.master.temporary.folder
|
TachyonMaster的临时文件夹,默认为/tmp
|
tachyon.master.heartbeat.interval.ms
|
TachyonMaster心跳包间隔时间,默认为1000ms
|
tachyon.master.selector.threads
|
TachyonMaster的thrift监听线程数,默认为3
|
tachyon.master.queue.size.per.selector
|
TachyonMaster的thrift消息队列长度,默认为3000
|
tachyon.master.server.threads
|
TachyonMaster节点的thrift服务线程数,默认为CPU核数的2倍
|
tachyon.master.pinlist
|
常驻内存的文件列表,以逗号隔开,表示该路径下的文件不会从内存中剔除,默认为null
|
1.4 TachyonWorker配置
配置项
|
配置项说明
|
tachyon.worker.data.folder
|
TachyonWorker在RamFS中的工作路径,默认为$TACHYON_RAM_FOLDER/tachyonworker/
|
tachyon.work.port
|
TachyonWorker的远程调用通讯端口,默认为29998
|
tachyon.worker.data.port
|
TachyonWorker的数据传输服务的端口,默认为29999
|
tachyon.worker.memory.size
|
TachyonWorker所使用的RamFS大小,默认为$TACHYON_WORKER_MEMORY_SIZE
|
tachyon.worker.heartbeat.timeout.ms
|
TachyonWorker心跳包失效的时长,默认为10000ms
|
tachyon.worker.to.master.heartbeat.interval.ms
|
TachyonWorker向TachyonMaster发送心跳包的时间间隔,默认为1000ms
|
tachyon.worker.selector.threads
|
TachyonWorker的thrift监听线程数,默认为3
|
tachyon.worker.queue.size.per.selector
|
TachyonWorker的thrift消息队列长度,默认为3000
|
tachyon.worker.server.threads
|
TachyonWorker的thrift服务线程数,默认为CPU核数
|
tachyon.worker.user.timeout.ms
|
TachyonWorker和用户之间心跳包失效时长,默认为10000ms
|
tachyon.worker.checkpoint.threads
|
TachyonWorker的checkpoint线程数,默认为1
|
tachyon.worker.per.thread.checkpoint.cap.mb.sec
|
TachyonWorker的checkpoint的速度,默认为1000MB/s
|
tachyon.worker.network.type
|
TachyonWorker在传输文件数据时使用的传输方式,默认为NETTY,可选为NIO或NETTY
|
1.5 用户配置
配置项
|
配置项说明
|
tachyon.user.failed.space.request.limits
|
用户向文件系统请求空间失败时的最大重试次数,默认为3
|
tachyon.user.quota.unit.bytes
|
客用户一次向TachyonWorker请求的最少字节数,默认为8388608,即8MB
|
tachyon.user.file.buffer.byte
|
用户读写文件时的缓存区大小,默认为1048576,即1MB
|
tachyon.user.default.block.size.byte
|
用户创建文件时的默认块大小,默认为1073741824,即1GB
|
tachyon.user.remote.read.buffer.size.byte
|
用户读远程文件时的缓冲区大小,默认为1048576,即1MB
|
tachyon.user.heartbeat.interval.ms
|
用户心跳包时间间隔,默认为1000ms
|
tachyon.user.file.writetype.default
|
用户在使用tachyon.hadoop.TFS时的默认写类型,默认为CACHE_THROUGH
|
本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/6786316.html,如需转载请自行联系原作者