AI 助理
备案控制台
开发者社区 大数据 文章 正文

Hadoop2.7实战v1.0之添加DataNode节点后,更改文件复制策略dfs.replication

2016-03-06 1080
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 1.查看当前系统的复制策略dfs.replication为3,表示文件会备份成3份a.通过查看hdfs-site.xml 文件 点击(此处)折叠或打开 [root@sht-sgmhadoopnn-01 ~]# cd /hadoop/hadoop-2.
1.查看当前系统的复制策略dfs.replication为3,表示文件会备份成3份
a.通过查看hdfs-site.xml 文件

点击(此处)折叠或打开

  1. [root@sht-sgmhadoopnn-01 ~]# cd /hadoop/hadoop-2.7.2/etc/hadoop
  2. [root@sht-sgmhadoopnn-01 hadoop]# more hdfs-site.xml
  3.  <property>
  4.                 <name>dfs.replication</name>
  5.                 <value>3</value>
  6. </property>
b.通过查看当前hdfs文件的复制值是多少

点击(此处)折叠或打开

  1. [root@sht-sgmhadoopnn-01 hadoop]# hdfs dfs -ls /testdir
  2. Found 7 items
  3. -rw-r--r-- 3 root supergroup 37322672 2016-03-05 17:59 /testdir/012_HDFS.avi
  4. -rw-r--r-- 3 root supergroup 224001146 2016-03-05 18:01 /testdir/016_Hadoop.avi
  5. -rw-r--r-- 3 root supergroup 176633760 2016-03-05 19:11 /testdir/022.avi
  6. -rw-r--r-- 3 root supergroup 30 2016-02-28 22:42 /testdir/1.log
  7. -rw-r--r-- 3 root supergroup 196 2016-02-28 22:23 /testdir/full_backup.log
  8. -rw-r--r-- 3 root supergroup 142039186 2016-03-05 17:55 /testdir/oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm
  9. -rw-r--r-- 3 root supergroup 44 2016-02-28 19:40 /testdir/test.log
  10. [root@sht-sgmhadoopnn-01 hadoop]#
  11. ### 紧跟-rw-r--r--权限后面的3,表示该文件在hdfs有多少份备份
c.通过 hadoop fsck /,也可以方便的看到Average block replication的值仍然为3，该值我们可以手动的进行动态修改。
而Default replication factor则需要重启整个Hadoop集群才能修改(就是hdfs-site.xml 文件中改为4,然后集群重启才生效,不过这种情况不适用生产集群),
但实际影响系统的还是Average block replication的值，因此并非一定要修改默认值Default replication factor。

点击(此处)折叠或打开

  1. [root@sht-sgmhadoopnn-01 hadoop]# hdfs fsck /
  2. 16/03/06 17:15:27 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
  3. Connecting to namenode via http://sht-sgmhadoopnn-01:50070/fsck?ugi=root&path=%2F
  4. FSCK started by root (auth:SIMPLE) from /172.16.101.55 for path / at Sun Mar 06 17:15:29 CST 2016
  5. ............Status: HEALTHY
  6.  Total size: 580151839 B
  7.  Total dirs: 15
  8.  Total files: 12
  9.  Total symlinks: 0
  10.  Total blocks (validated): 11 (avg. block size 52741076 B)
  11.  Minimally replicated blocks: 11 (100.0 %)
  12.  Over-replicated blocks: 0 (0.0 %)
  13.  Under-replicated blocks: 0 (0.0 %)
  14.  Mis-replicated blocks: 0 (0.0 %)
  15.  Default replication factor: 3
  16.  Average block replication: 3.0
  17.  Corrupt blocks: 0
  18.  Missing replicas: 0 (0.0 %)
  19.  Number of data-nodes: 4
  20.  Number of racks: 1
  21. FSCK ended at Sun Mar 06 17:15:29 CST 2016 in 9 milliseconds
  22. The filesystem under path '/' is HEALTHY
  23. You have mail in /var/spool/mail/root
2.修改hdfs文件备份系数

点击(此处)折叠或打开

  1. [root@sht-sgmhadoopnn-01 hadoop]# hdfs dfs -help
  2. -setrep [-R] [-w] ... :
  3.   Set the replication level of a file. If is a directory then the command
  4.   recursively changes the replication factor of all files under the directory tree
  5.   rooted at .
  6.                                                                                  
  7.   -w It requests that the command waits for the replication to complete. This
  8.       can potentially take a very long time.
  9.   -R It is accepted for backwards compatibility. It has no effect.


  12. [root@sht-sgmhadoopnn-01 hadoop]# hdfs dfs -setrep -w 4 -R /
  13. setrep: `-R': No such file or directory
  14. Replication 4 set: /out1/_SUCCESS
  15. Replication 4 set: /out1/part-r-00000
  16. Replication 4 set: /testdir/012_HDFS.avi
  17. Replication 4 set: /testdir/016_Hadoop.avi
  18. Replication 4 set: /testdir/022.avi
  19. Replication 4 set: /testdir/1.log
  20. Replication 4 set: /testdir/full_backup.log
  21. Replication 4 set: /testdir/oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm
  22. Replication 4 set: /testdir/test.log
  23. Replication 4 set: /tmp/hadoop-yarn/staging/history/done_intermediate/root/job_1456590271264_0002-1456659654297-root-word+count-1456659679606-1-1-SUCCEEDED-root.root-1456659662730.jhist
  24. Replication 4 set: /tmp/hadoop-yarn/staging/history/done_intermediate/root/job_1456590271264_0002.summary
  25. Replication 4 set: /tmp/hadoop-yarn/staging/history/done_intermediate/root/job_1456590271264_0002_conf.xml
  26. Waiting for /out1/_SUCCESS ... done
  27. Waiting for /out1/part-r-00000 .... done
  28. Waiting for /testdir/012_HDFS.avi ... done
  29. Waiting for /testdir/016_Hadoop.avi ... done
  30. Waiting for /testdir/022.avi ... done
  31. Waiting for /testdir/1.log ... done
  32. Waiting for /testdir/full_backup.log ... done
  33. Waiting for /testdir/oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm ... done
  34. Waiting for /testdir/test.log ... done
  35. Waiting for /tmp/hadoop-yarn/staging/history/done_intermediate/root/job_1456590271264_0002-1456659654297-root-word+count-1456659679606-1-1-SUCCEEDED-root.root-1456659662730.jhist ... done
  36. Waiting for /tmp/hadoop-yarn/staging/history/done_intermediate/root/job_1456590271264_0002.summary ... done
  37. Waiting for /tmp/hadoop-yarn/staging/history/done_intermediate/root/job_1456590271264_0002_conf.xml ... done
  38. [root@sht-sgmhadoopnn-01 hadoop]#

  40. ##再次检查备份系统的情况, Average block replication为4
  41. [root@sht-sgmhadoopnn-01 hadoop]# hdfs fsck /
  42. 16/03/06 17:25:49 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
  43. Connecting to namenode via http://sht-sgmhadoopnn-01:50070/fsck?ugi=root&path=%2F
  44. FSCK started by root (auth:SIMPLE) from /172.16.101.55 for path / at Sun Mar 06 17:25:51 CST 2016
  45. ............Status: HEALTHY
  46.  Total size: 580151839 B
  47.  Total dirs: 15
  48.  Total files: 12
  49.  Total symlinks: 0
  50.  Total blocks (validated): 11 (avg. block size 52741076 B)
  51.  Minimally replicated blocks: 11 (100.0 %)
  52.  Over-replicated blocks: 0 (0.0 %)
  53.  Under-replicated blocks: 0 (0.0 %)
  54.  Mis-replicated blocks: 0 (0.0 %)
  55.  Default replication factor: 3
  56.  Average block replication: 4.0
  57.  Corrupt blocks: 0
  58.  Missing replicas: 0 (0.0 %)
  59.  Number of data-nodes: 4
  60.  Number of racks: 1
  61. FSCK ended at Sun Mar 06 17:25:51 CST 2016 in 6 milliseconds
  62. The filesystem under path '/
3.测试

点击(此处)折叠或打开

  1. [root@sht-sgmhadoopnn-01 hadoop]# vi /tmp/wjp.log
  2. hello,i am
  3. hadoop
  4. hdfs
  5. mapreduce
  6. yarn
  7. hive
  8. zookeeper

  10. [root@sht-sgmhadoopnn-01 hadoop]# hdfs dfs -put /tmp/wjp.log /testdir

  12. [root@sht-sgmhadoopnn-01 hadoop]# hdfs dfs -ls /testdir
  13. Found 8 items
  14. -rw-r--r-- 4 root supergroup 37322672 2016-03-05 17:59 /testdir/012_HDFS.avi
  15. -rw-r--r-- 4 root supergroup 224001146 2016-03-05 18:01 /testdir/016_Hadoop.avi
  16. -rw-r--r-- 4 root supergroup 176633760 2016-03-05 19:11 /testdir/022.avi
  17. -rw-r--r-- 4 root supergroup 30 2016-02-28 22:42 /testdir/1.log
  18. -rw-r--r-- 4 root supergroup 196 2016-02-28 22:23 /testdir/full_backup.log
  19. -rw-r--r-- 4 root supergroup 142039186 2016-03-05 17:55 /testdir/oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm
  20. -rw-r--r-- 4 root supergroup 44 2016-02-28 19:40 /testdir/test.log
  21. -rw-r--r-- 3 root supergroup 62 2016-03-06 17:30 /testdir/wjp.log
  22. [root@sht-sgmhadoopnn-01 hadoop]# hdfs dfs -rm /testdir/wjp.log
  23. 16/03/06 17:31:47 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 1440 minutes, Emptier interval = 0 minutes.
  24. Moved: 'hdfs://mycluster/testdir/wjp.log' to trash at: hdfs://mycluster/user/root/.Trash/Current
  25. [root@sht-sgmhadoopnn-01 hadoop]#
  26. ### put的测试文件wjp.log的备份数还是3,于是我先把测试文件删除掉,去修改namenode节点的hdfs-site.xml的参数
4.修改namenode节点的hdfs-site.xml的参数

点击(此处)折叠或打开

  1. [root@sht-sgmhadoopnn-01 hadoop]# vi hdfs-site.xml
  2.          <property>
  3.                 <name>dfs.replication</name>
  4.                 <value>4</value>
  5.          </property>
  6. [root@sht-sgmhadoopnn-01 hadoop]# scp hdfs-site.xml root@sht-sgmhadoopnn-02:/hadoop/hadoop-2.7.2/etc/hadoop
  7. ###假如集群中,配置了namenode HA,那么应该需要对另外一个standbyNamenode节点的文件要同步一直,无需也同步到datanode节点
5.再次测试
##先不重启试试看

点击(此处)折叠或打开

  1. [root@sht-sgmhadoopnn-01 hadoop]# hdfs dfs -put /tmp/wjp.log /testdir
  2. 16/03/06 17:36:34 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
  3. You have mail in /var/spool/mail/root
  4. [root@sht-sgmhadoopnn-01 hadoop]# hdfs dfs -ls /testdir
  5. 16/03/06 17:36:46 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
  6. Found 8 items
  7. -rw-r--r-- 4 root supergroup 37322672 2016-03-05 17:59 /testdir/012_HDFS.avi
  8. -rw-r--r-- 4 root supergroup 224001146 2016-03-05 18:01 /testdir/016_Hadoop.avi
  9. -rw-r--r-- 4 root supergroup 176633760 2016-03-05 19:11 /testdir/022.avi
  10. -rw-r--r-- 4 root supergroup 30 2016-02-28 22:42 /testdir/1.log
  11. -rw-r--r-- 4 root supergroup 196 2016-02-28 22:23 /testdir/full_backup.log
  12. -rw-r--r-- 4 root supergroup 142039186 2016-03-05 17:55 /testdir/oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm
  13. -rw-r--r-- 4 root supergroup 44 2016-02-28 19:40 /testdir/test.log
  14. -rw-r--r-- 4 root supergroup 62 2016-03-06 17:36 /testdir/wjp.log

  16. [root@sht-sgmhadoopnn-01 hadoop]# hdfs fsck /
  17. 16/03/06 21:49:10 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
  18. Connecting to namenode via http://sht-sgmhadoopnn-01:50070/fsck?ugi=root&path=%2F
  19. FSCK started by root (auth:SIMPLE) from /172.16.101.55 for path / at Sun Mar 06 21:49:12 CST 2016
  20. ...............Status: HEALTHY
  21.  Total size: 580152025 B
  22.  Total dirs: 17
  23.  Total files: 15
  24.  Total symlinks: 0
  25.  Total blocks (validated): 14 (avg. block size 41439430 B)
  26.  Minimally replicated blocks: 14 (100.0 %)
  27.  Over-replicated blocks: 0 (0.0 %)
  28.  Under-replicated blocks: 0 (0.0 %)
  29.  Mis-replicated blocks: 0 (0.0 %)
  30.  Default replication factor: 3
  31.  Average block replication: 4.0
  32.  Corrupt blocks: 0
  33.  Missing replicas: 0 (0.0 %)
  34.  Number of data-nodes: 4
  35.  Number of racks: 1
  36. FSCK ended at Sun Mar 06 21:49:12 CST 2016 in 8 milliseconds
##【事实证明】:无需重启集群或者namenode节点,是从刚才动态设置命令(hdfs dfs -setrep -w 4 -R /)的内存信息中读取的,
而不是从配置文件hdfs-site.xml文件中读取配置的,从而验证了上面这句话:
实际影响系统的还是Average block replication的值，因此并非一定要修改默认值Default replication factor。

总结命令:
hdfs fsck /
hdfs dfs -setrep -w 4 -R /

文章标签：
分布式计算
Hadoop
SQL
资源调度
HIVE
关键词：
hadoop实战
hadoop节点
hadoop策略
hadoop datanode
hadoop文件
sh_jepson
目录
相关文章
尹正杰
|
10天前
|
分布式计算 Hadoop Devops
Hadoop集群配置https实战案例
本文提供了一个实战案例，详细介绍了如何在Hadoop集群中配置HTTPS，包括生成私钥和证书文件、配置keystore和truststore、修改hdfs-site.xml和ssl-client.xml文件，以及重启Hadoop集群的步骤，并提供了一些常见问题的故障排除方法。
尹正杰
20 3
Hadoop集群配置https实战案例
尹正杰
|
11天前
|
分布式计算 监控 Hadoop
监控Hadoop集群实战篇
介绍了监控Hadoop集群的方法，包括监控Linux服务器、Hadoop指标、使用Ganglia监控Hadoop集群、Hadoop日志记录、通过Hadoop的Web UI进行监控以及其他Hadoop组件的监控，并提供了相关监控工具和资源的推荐阅读链接。
尹正杰
26 2
wljslmz
|
1月前
|
存储 分布式计算 Hadoop
Hadoop 中 NameNode 和 DataNode 的角色
【8月更文挑战第12天】
wljslmz
52 4
wljslmz
|
14天前
|
存储 分布式计算 负载均衡
为什么需要频繁地删除或添加Hadoop集群中的节点？
【8月更文挑战第31天】
wljslmz
20 0
郑小健
|
17天前
|
存储 分布式计算 监控
Hadoop在云计算环境下的部署策略
【8月更文第28天】Hadoop是一个开源软件框架，用于分布式存储和处理大规模数据集。随着云计算技术的发展，越来越多的企业开始利用云平台的优势来部署Hadoop集群，以实现更高的可扩展性、可用性和成本效益。本文将探讨如何在公有云、私有云及混合云环境下部署和管理Hadoop集群，并提供具体的部署策略和代码示例。
郑小健
39 0
土木林森
|
21天前
|
资源调度 分布式计算 监控
【揭秘Hadoop YARN背后的奥秘！】从零开始，带你深入了解YARN资源管理框架的核心架构与实战应用！
【8月更文挑战第24天】Hadoop YARN（Yet Another Resource Negotiator）是Hadoop生态系统中的资源管理器，为Hadoop集群上的应用提供统一的资源管理和调度框架。YARN通过ResourceManager、NodeManager和ApplicationMaster三大核心组件实现高效集群资源利用及多框架支持。本文剖析YARN架构及组件工作原理，并通过示例代码展示如何运行简单的MapReduce任务，帮助读者深入了解YARN机制及其在大数据处理中的应用价值。
土木林森
35 0
听风de歌
|
2月前
|
分布式计算 Hadoop Java
Hadoop编辑hadoop-env.sh文件
【7月更文挑战第19天】
听风de歌
44 5
三分钟热度的鱼
|
2月前
|
分布式计算 Hadoop 关系型数据库
实时计算 Flink版操作报错合集之Hadoop在将文件写入HDFS时，无法在所有指定的数据节点上进行复制，该如何解决
在使用实时计算Flink版过程中，可能会遇到各种错误，了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题，查看Flink的日志是关键，它们通常会提供更详细的错误信息和堆栈跟踪，有助于定位问题。此外，Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
三分钟热度的鱼
102 1
wljslmz
|
1月前
|
存储 分布式计算 Hadoop
什么是 Hadoop？它如何解决大数据问题？
【8月更文挑战第12天】
wljslmz
66 4
什么是 Hadoop？它如何解决大数据问题？
土木林森
|
14天前
|
图形学 数据可视化 开发者
超实用Unity Shader Graph教程：从零开始打造令人惊叹的游戏视觉特效，让你的作品瞬间高大上，附带示例代码与详细步骤解析！
【8月更文挑战第31天】Unity Shader Graph 是 Unity 引擎中的强大工具，通过可视化编程帮助开发者轻松创建复杂且炫酷的视觉效果。本文将指导你使用 Shader Graph 实现三种效果：彩虹色渐变着色器、动态光效和水波纹效果。首先确保安装最新版 Unity 并启用 Shader Graph。创建新材质和着色器图谱后，利用节点库中的预定义节点，在编辑区连接节点定义着色器行为。
土木林森
55 0

热门文章

最新文章

  • 1
    后Hadoop时代，我们该如何去架构自己的大数据平台
  • 2
    Hadoop迁移MaxCompute神器之DataX-On-Hadoop使用指南
  • 3
    搭建hadoop1.2集群
  • 4
    Hadoop——大数据处理的宠儿
  • 5
    hadoop namenode管理元数据机制
  • 6
    hadoop删除节点和添加节点
  • 7
    基于Hadoop的云盘系统客户端技术难点之一 上传和下载效率优化
  • 8
    hadoop安装入门
  • 9
    spark-2.2.0-bin-hadoop2.6和spark-1.6.1-bin-hadoop2.6发行包自带案例全面详解（java、python、r和scala）之Basic包下的SparkPi.scala（图文详解）
  • 10
    Hadoop-No.13之数据源系统以及数据结构
  • 1
    实验: 熟悉常用的Linux操作和Hadoop操作
    37
  • 2
    hadoop数据查询和分析
    56
  • 3
    Hadoop参数众多
    33
  • 4
    Hadoop分布式架构
    42
  • 5
    大数据实战——基于Hadoop的Mapreduce编程实践案例的设计与实现
    739
  • 6
    【分布式计算框架】hadoop全分布式及高可用搭建
    80
  • 7
    【分布式计算框架】Hadoop伪分布式安装
    30
  • 8
    Hadoop数据集成
    36
  • 9
    Hadoop配置复杂性
    40
  • 10
    Hadoop生态系统集成问题
    38

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据Hadoop快速入门
  • Hadoop快速入门
  • Hadoop企业优化及扩展案例

    • 相关电子书

    更多
  • 《构建Hadoop生态批流一体的实时数仓》
  • 零基础实现hadoop 迁移 MaxCompute 之 数据
  • CIO 指南:如何在SAP软件架构中使用Hadoop

    • 相关实验场景

    更多
  • 搭建Hadoop环境
    • 下一篇
    基于LNMP搭建WordPress