06 分布式缓存
分布式缓存：是 Hadoop MapReduce 框架提供的一种数据缓存机制，它可以缓存只读文本文件，压缩文件，jar包等文件，一旦对文件执行缓存操作，那么每个执行 map/reduce 任务的节点都可以使用该缓存的文件。
6.1 分布式缓存优点
- 存储复杂的数据：它分发了简单、只读的文本文件和复杂类型的文件，如jar包、压缩包。这些压缩包将在各个slave节点解压。
- 数据一致性：Hadoop分布式缓存追踪了缓存文件的修改时间戳。然后当job在执行时，它也会通知这些文件不能被修改。使用hash 算法，缓存引擎可以始终确定特定键值对在哪个节点上。所以，缓存cluster只有一个状态，它永远不会是不一致的。
- 单点失败：分布式缓存作为一个跨越多个节点独立运行的进程。因此单个节点失败，不会导致整个缓存失败。
6.2 分布式缓存的使用
旧版本的 DistributedCache已经被注解为过时，以下为 Hadoop-2.2.0以上的新API接口。
Job job = Job.getInstance(conf); //将hdfs上的文件加入分布式缓存 job.addCacheFile(new URI("hdfs://url:port/filename#symlink"));
由于新版 API 中已经默认创建符号连接，所以不需要再调用 setSymlink(true)方法了，可以下面代码来查看是否开启了创建符号连接。
System.out.println(context.getSymlink()); • 1
之后在 map/reduce 函数中可以通过 context 来访问到缓存的文件，一般是重写 setup 方法来进行初始化：
@Override protected void setup(Context context) throws IOException, InterruptedException { super.setup(context); if (context.getCacheFiles() != null && context.getCacheFiles().length > 0) { String path = context.getLocalCacheFiles()[0].getName(); File itermOccurrenceMatrix = new File(path); FileReader fileReader = new FileReader(itermOccurrenceMatrix); BufferedReader bufferedReader = new BufferedReader(fileReader); String s; while ((s = bufferedReader.readLine()) != null) { //TODO:读取每行内容进行相关的操作 } bufferedReader.close(); fileReader.close(); } }
得到的path为本地文件系统上的路径。
这里的
getLocalCacheFiles方法也被注解为过时了，只能使用context.getCacheFiles方法，和getLocalCacheFiles不同的是，getCacheFiles得到的路径是HDFS上的文件路径，如果使用这个方法，那么程序中读取的就不再试缓存在各个节点上的数据了，相当于共同访问HDFS上的同一个文件 ，可以直接通过符号连接来跳过getLocalCacheFiles获得本地的文件。
6.3 分布式缓存的大小
可以在文件
mapred-site.xml中设置，默认为10GB。
注意事项:
- 需要分发的文件必须是存储在
HDFS上了； - 文件只读；
- 不缓存太大的文件，执行
task之前对文件进行分发，影响task的启动速度。
07 Hadoop常用命令
所有的 Hadoop 命令均由 bin/hadoop 脚本引发。不指定参数运行hadoop脚本会打印所有命令的描述。
用法：
hadoop [--config confdir] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS] • 1
Hadoop 有一个选项解析框架用于解析一般的选项和运行类。
| 命令选项 | 描述 |
--config confdir |
覆盖缺省配置目录。缺省是${HADOOP_HOME}/conf。 |
GENERIC_OPTIONS |
多个命令都支持的通用选项。 |
COMMAND 命令选项 |
各种各样的命令和它们的选项会在下面提到。这些命令被分为用户命令和管理命令两组。 |
7.1 常规选项
| GENERIC_OPTION | 描述 |
| -conf | 指定应用程序的配置文件。 |
| -D | 为指定property指定值value。 |
| -fs | 指定namenode。 |
| -jt | 指定job tracker。只适用于job。 |
| -files <逗号分隔的文件列表> | 指定要拷贝到map reduce集群的文件的逗号分隔的列表。 只适用于job。 |
| -libjars <逗号分隔的jar列表> | 指定要包含到classpath中的jar文件的逗号分隔的列表。 只适用于job。 |
| -archives <逗号分隔的archive列表> | 指定要被解压到计算节点上的档案文件的逗号分割的列表。 只适用于job。 |
7.2 用户命令
7.2.1 archive（创建一个 hadoop 档案文件）
用法：
hadoop archive -archiveName NAME <src>* <dest> • 1
| 命令选项 | 描述 |
| -archiveName NAME | 要创建的档案的名字 |
| src | 文件系统的路径名，和通常含正则表达的一样 |
| dest | 保存档案文件的目标目录 |
7.2.2 distcp（递归地拷贝文件或目录）
用法：
hadoop distcp <srcurl> <desturl> • 1
| 命令选项 | 描述 |
| srcurl | 源Url |
| desturl | 目标Url |
7.2.3 fs（运行一个常规的文件系统客户端）
用法：
hadoop fs [GENERIC_OPTIONS] [COMMAND_OPTIONS] • 1
| 命令选项 | 描述 |
| srcurl | 源Url |
| desturl | 目标Url |
具体的 GENERIC_OPTIONS 可以参考官方文档
各种命令选项可以参考HDFS Shell指南。
7.2.4 fsck（运行 HDFS 文件系统检查工具）
用法：
hadoop fsck [GENERIC_OPTIONS] <path> [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]] • 1
| 命令选项 | 描述 |
| path | 检查的起始目录 |
| -move | 移动受损文件到/lost+found |
| -delete | 删除受损文件 |
| -openforwrite | 打印出写打开的文件 |
| -files | 打印出正被检查的文件 |
| -blocks | 打印出块信息报告 |
| -locations | 打印出每个块的位置信息 |
| -racks | 打印出data-node的网络拓扑结构 |
7.2.5 jar（运行 jar 文件）
用法：
hadoop jar <jar> [mainClass] args... • 1
streaming 作业是通过这个命令执行的。参考Streaming examples中的例子。
Word count 例子也是通过jar命令运行的。参考Wordcount example。
7.2.6 job（与Map Reduce 作业交互和命令）
用法：
hadoop job [GENERIC_OPTIONS] [-submit <job-file>] | [-status <job-id>] | [-counter <job-id> <group-name> <counter-name>] | [-kill <job-id>] | [-events <job-id> <from-event-#> <#-of-events>] | [-history [all] <jobOutputDir>] | [-list [all]] | [-kill-task <task-id>] | [-fail-task <task-id>] • 1
| 命令选项 | 描述 |
| -submit | 提交作业 |
| -status | 打印map和reduce完成百分比和所有计数器 |
| -counter | 打印计数器的值 |
| -kill | 杀死指定作业 |
| -events <#-of-events> | 打印给定范围内jobtracker接收到的事件细节 |
| -history [all] -history | 打印作业的细节、失败及被杀死原因的细节。更多的关于一个作业的细节比如成功的任务，做过的任务尝试等信息可以通过指定[all]选项查看 |
| -list [all] | -list all显示所有作业，-list只显示将要完成的作业 |
| -kill-task | 杀死任务。被杀死的任务不会不利于失败尝试。 |
| -fail-task | 使任务失败。被失败的任务会对失败尝试不利。 |
7.2.7 pipes（运行 pipes 作业）
用法：
hadoop pipes [-conf <path>] [-jobconf <key=value>, <key=value>, ...] [-input <path>] [-output <path>] [-jar <jar file>] [-inputformat <class>] [-map <class>] [-partitioner <class>] [-reduce <class>] [-writer <class>] [-program <executable>] [-reduces <num>] • 1
| 命令选项 | 描述 |
| -conf | 作业的配置 |
| -jobconf | 增加/覆盖作业的配置项 |
| -input | 输入目录 |
| -output | 输出目录 |
| -jar | Jar文件名 |
| -inputformat | InputFormat类 |
| -map | Java Map类 |
| -partitioner | Java Partitioner |
| -reduce | Java Reduce类 |
| -writer | Java RecordWriter |
| -program | 可执行程序的URI |
| -reduces | reduce个数 |
7.2.8 version（打印版本信息）
用法：
hadoop version • 1
7.2.9 CLASSNAME（调用任何类）
用法：
hadoop CLASSNAME • 1
运行名字为 CLASSNAME的类。
7.3 管理命令
hadoop 集群管理员常用的命令。
7.3.1 balancer（运行集群平衡工具）
用法：
hadoop balancer [-threshold <threshold>] • 1
| 命令选项 | 描述 |
| -threshold | 磁盘容量的百分比。这会覆盖缺省的阀值。 |
管理员可以简单的按 Ctrl+C 来停止平衡过程。参考 Rebalancer 了解更多。
7.3.2 daemonlog（获取或设置每个守护进程的日志级别）
用法：
hadoop daemonlog -getlevel <host:port> <name> hadoop daemonlog -setlevel <host:port> <name> <level> • 1 • 2
| 命令选项 | 描述 |
| -getlevel | 打印运行在的守护进程的日志级别。这个命令内部会连接 http:///logLevel?log= |
| -setlevel | 设置运行在的守护进程的日志级别。这个命令内部会连接 http:///logLevel?log= |
7.3.3 datanode（运行一个 HDFS 的 datanode）
用法：
hadoop datanode [-rollback] • 1
| 命令选项 | 描述 |
| -rollback | 将datanode回滚到前一个版本。这需要在停止datanode，分发老的hadoop版本之后使用。 |
7.3.4 dfsadmin（运行一个 HDFS 的 dfsadmin 客户端）
用法：
hadoop dfsadmin [GENERIC_OPTIONS] [-report] [-safemode enter | leave | get | wait] [-refreshNodes] [-finalizeUpgrade] [-upgradeProgress status | details | force] [-metasave filename] [-setQuota <quota> <dirname>...<dirname>] [-clrQuota <dirname>...<dirname>] [-help [cmd]] • 1
| 命令选项 | 描述 |
| -report | 报告文件系统的基本信息和统计信息 |
| -safemode [enter / leave / get / wait] | 安全模式维护命令。安全模式是Namenode的一个状态，这种状态下，Namenode 1. 不接受对名字空间的更改(只读)2. 不复制或删除块Namenode会在启动时自动进入安全模式，当配置的块最小百分比数满足最小的副本数条件时，会自动离开安全模式。安全模式可以手动进入，但是这样的话也必须手动关闭安全模式。 |
| -refreshNodes | 重新读取hosts和exclude文件，更新允许连到Namenode的或那些需要退出或入编的Datanode的集合。 |
| -finalizeUpgrade | 终结HDFS的升级操作。Datanode删除前一个版本的工作目录，之后Namenode也这样做。这个操作完结整个升级过程。 |
| -upgradeProgress [status / details / force] | 请求当前系统的升级状态，状态的细节，或者强制升级操作进行。 |
| -metasave filename | 保存Namenode的主要数据结构到hadoop.log.dir属性指定的目录下的文件。对于下面的每一项，中都会一行内容与之对应1. Namenode收到的Datanode的心跳信号2. 等待被复制的块3. 正在被复制的块4. 等待被删除的块 |
| -setQuota … | 为每个目录 设定配额。目录配额是一个长整型整数，强制限定了目录树下的名字个数。命令会在这个目录上工作良好，以下情况会报错：1. N不是一个正整数，或者2. 用户不是管理员，或者3. 这个目录不存在或是文件，或者4. 目录会马上超出新设定的配额。 |
| -clrQuota … | 为每一个目录清除配额设定。命令会在这个目录上工作良好，以下情况会报错：1. 这个目录不存在或是文件，或者2. 用户不是管理员。如果目录原来没有配额不会报错。 |
| -help [cmd] | 显示给定命令的帮助信息，如果没有给定命令，则显示所有命令的帮助信息。 |
7.3.5 jobtracker（运行 MapReduce job Tracker 节点）
用法：
hadoop jobtracker • 1
7.3.6 namenode（运行 namenode）
用法：
hadoop namenode [-format] | [-upgrade] | [-rollback] | [-finalize] | [-importCheckpoint] • 1
| 命令选项 | 描述 |
| -format | 格式化namenode。它启动namenode，格式化namenode，之后关闭namenode。 |
| -upgrade | 分发新版本的hadoop后，namenode应以upgrade选项启动。 |
| -rollback | 将namenode回滚到前一版本。这个选项要在停止集群，分发老的hadoop版本后使用。 |
| -finalize | finalize会删除文件系统的前一状态。最近的升级会被持久化，rollback选项将再不可用，升级终结操作之后，它会停掉namenode。 |
| -importCheckpoint | 从检查点目录装载镜像并保存到当前检查点目录，检查点目录由fs.checkpoint.dir指定。 |
7.3.7 secondarynamenode（运行 HDFS 的 secondary namenode）
用法：
hadoop secondarynamenode [-checkpoint [force]] | [-geteditsize] • 1
| 命令选项 | 描述 |
| -checkpoint [force] | 如果EditLog的大小 >= fs.checkpoint.size，启动Secondary namenode的检查点过程。 如果使用了-force，将不考虑EditLog的大小。 |
| -geteditsize | 打印EditLog大小。 |
7.3.8 tasktracker（运行 MapReduce 的 task Tracker 节点）
用法：
hadoop tasktracker
08 文末
参考文献：
本文主要讲了Hadoop的入门知识，谢谢大家的阅读，本文完！
