史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS-阿里云开发者社区

开发者社区> 开发与运维> 正文
登录阅读全文

史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS

简介: HDFS 环境搭建 HDFS 伪分布式环境搭建 CentOS 环境安装步骤 MacOS安装环境 安装jd...
img_a3b4d2b16b2924865228942d46431daf.png

img_a39f45b395d226695b33d954c156bfdb.png

img_66c3cf208d5ed6fa5bda2c7bc94869d7.png

img_c09d023a96e60fb84565be31e4f08ced.png

img_b64cd0dfd5e7954135ff5ecaf3523445.png

img_f4c8249ca92fabf261303ad560df496b.png

img_5965b72e93a373e2d8242cfc25cb5da1.png

img_81f114de958f90e34bf0629d787e825f.png

HDFS 环境搭建


img_a2ea192a220030122910e9b48c91ec94.png

HDFS 伪分布式环境搭建
img_31b681428438c9fa16ec5ed78c385533.png
CentOS 环境安装步骤

MacOS安装环境
img_07bd584464bf7781a48e231e020d5d80.png
安装jdk

img_a36e97d4aaeac25ea6bbd89a797a894e.png
jdk安装路径

img_7307e98513d1fdc0701a4f7cfe9ec380.png
/usr/libexec/java_home -V:列出所有版本的JAVA_HOME

设置 JAVA_HOME
  • 添加java_home到.bash_profile文件中
export JAVA_HOME=$(/usr/libexec/java_home)
export PATH=$JAVA_HOME/bin:$PATH
export CLASS_PATH=$JAVA_HOME/lib 
img_ebb5a2627dd99e8dc9ec55e79c6b36a8.png
Mac OS X ssh设置

输入命令ssh localhost,可能遇到如下问题


img_16994cceb7faaf67c31ae115771eef27.png

原因是没打开远程登录,进入系统设置->共享->远程登录打开就好


img_ff696891593bdecf3095da8d8f152411.png

这时你再ssh localhost一下
img_e30d5311b8bae9f315c7114a981f7bca.png
  • 下载 Hadoop


    img_2aa460d33c2ade23f6fffbe7af207935.png
  • 解压到soft目录


    img_5ec2c9b499e7f4e82d1666168949564e.png

    img_f56ec7339127b8ef0062e66d77b6ec3b.png
    官方指南
  • 编辑 hadoop-env.sh 文件


    img_a2d3fb94cd087b7e44a89b848869e8bf.png

    img_15d192bf5f85adc7aab49455f0e39dae.png

    img_59254ebc632af9964a2f04527862060c.png

    img_a906b02d8f67b01c0074b5aba51698a9.png

    Hadoop也可以在伪分布模式下的单节点上运行,其中每个Hadoop守护进程都在单独的Java进程中运行


    img_06aa1c172b420009e2a12e9a2b5c2fb3.png

    img_65b30b34605dbe2bfafbf9fdebbda9fa.png
    具体更改

    img_efc06db48fae80f3f6a8dc45c7315739.png
    新建一个临时文件目录

    img_be6b53e5eccdf097859e3faed9233d85.png
    编辑 hdfs/core-site.xml 文件

    img_8c05663472e3f59cab9dd0c3761c4e7c.png

    img_6546468aaab02830049507b882ddd848.png

    img_1f98ec1382d2a0b17ab0f9ab509cb2c1.png
    配置 datanode 节点数

    启动 hdfs


    img_73136f1931ef072a3e31f6d53c7e6b84.png

    img_f622c00b132d85784e65baa0cddbf99d.png

    img_6c1bdf7d1c439b803ff91681c94f58c4.png

img_bc348b784f2d355fa580abe4d8a4bdc4.png

img_f3ea136dccdba628d0bcc9c95d899b86.png

查看进程
img_cfea7fdb33d8351a4f6ad73a764f788e.png

访问http://localhost:50070/
img_9cc577e9f7475650ea68ad8d5740edec.png

表示HDFS已经安装成功
img_d1570bd4c2fbf55eeca8d8de47d88825.png
存活节点

步骤小结
img_dd0388a8cbb9e9e034f55c949027a265.png

关闭
img_3499ba03fc79f6a12bf3cf2710700a42.png

HDFS Shell 操作

img_d6eea75038d31f7ddf487c5dcf743f37.png

官网指南


img_ee05c4db26db56017cb103537c56a429.png

先启动 HDFS

img_73b313dc672a7b3a6dc600159ff43434.png
配置 hadoop 环境变量

img_6231f1fccf5103cde45d13c7e930c42c.png
成功

img_84bfb57282c983b25f6878a261d31345.png
指令集

img_8e93838151864c3835d7ac010445efdd.png
dfs fs 无差异

img_b2accefd58900e85085eab1c051d6bd3.png
上传一个 txt 文件
img_2736ceac3a3201ca4fa00a0ee9fb9b3e.png

创建文件夹


img_44c42c58a9b6fe9f5ff7d1130bee049c.png

多层次文件夹


img_868c25fe3cd4b2a3257b89651ba381c4.png

遍历所有文件夹
img_ec443f6b13441af4b69cf2eb5934436e.png

img_ead2ab47c265d19ded37a5d5a4a85382.png

img_38df88d848776349d66adc8d4085a2d7.png

img_c3ad030d991ceb2ed886e5856ddb84e5.png

删除文件/文件夹


img_bd569a12ca88054ed534d03fd015d027.png

img_518a87b839ed415e546ba70891d5b298.png

img_eacd91881d7579275d09c50043612351.png
所上传的文件

Java 操作 HDFS 开发环境搭建

img_cf341cc9c7ab2c6f4ac872c90cbfa92f.png

img_730a92a1aae8818b2d0e265b1b0221ca.png

img_f82d40b13ad65db70af1fae5691102a3.png

img_468bc2d4dcb4db9900cd925464cb102a.png

img_471cdf567d54efe0ae237128d28d3dad.png

img_7acafad355bd116cbce08a78aacf4609.png
pom 文件

JavaAPI 操作 HDFS文件系统

img_8ab3f874f2e39b05350c71c4ac2fbe59.png

img_9a1fe5cb28ae07fb6415c6128b202413.png
测试通过

img_1d3562cc54c0120bc3aa97440dde0bde.png
  • 测试创建文件方法


    img_405ad6661f9c0f43a150a9dd5aa82183.png

    img_30f7468e45cf490f8e6cd11f84af9472.png
  • 查看 HDFS 文件的内容


    img_628682a5d54219e25089a630bdb90768.png

    img_540d658d84faa510e0f0844cb0e092f3.png
  • 上传文件到 HDFS


    img_889e8f775e5a2e66b7534de2dddd119c.png
  • 上传文件到 HDFS(带进度条)


    img_7f76b95c971ea939a05e1732eda19426.png

    img_ad02e6643fba1d494c6a6500766fd162.png
    测试通过

    img_14f506685c24546b5202409e5b47ea10.png
  • 下载文件到本地


    img_48edeb74ca6cef2cc58f637c8b8ee64b.png

    img_9d29fee0068af04c4ce1939d6f5eee1a.png
    测试通过

    img_ce63cded03856c56155e81df52b77e0c.png
  • 查看某个目录下的所有文件


    img_522f22b45be680ef747bcb9c6c669774.png

    img_50983f3c6caf5a214371b8257b7b38f4.png
    测试通过

    img_020407ccdfb7c7fb521472756c7c6616.png
  • 删除文件/文件夹


    img_9fcffc4f9defaecc1a108a71c6a65db0.png

    img_11667f52b04a33d3786e1b4f38a6c3f4.png

    img_93d41ad3e1dea8923a2f3cfa876ea2b9.png

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
开发与运维
使用钉钉扫一扫加入圈子
+ 订阅

集结各类场景实战经验,助你开发运维畅行无忧

其他文章