AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

Hadoop 入门教程

2022-03-04 301
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： Hadoop 入门教程

Hadoop 教程

1. 前期准备

2. HDFS启动

cd app/hadoop-2.6.0-cdh5.7.0/sbin/
./start-dfs.sh

在这里插入图片描述

3. Hadoop启动失败解决方法

  • 重新编辑本机的hosts文件

    sudo vim /etc/hosts
  • 将 hadoop000 与 localhost 均改为本机ip

在这里插入图片描述
在这里插入图片描述

4. Hadoop Shell命令

  • 浏览器可视化文件系统

在这里插入图片描述

  • 路径遍历

    • hadoop fs -ls [路径]

  • 查看文件

    • hadoop fs -cat [文件路径]
    • eg：hadoop fs -cat /hadoopruochen/test/ruochen.txt

  • 新建文件夹

    • hadoop fs -mkdir -p [路径]
    • -p：递归新建
    • eg：hadoop fs -mkdir -p /hadoopruochen/test

  • 传文件到 Hadoop

    • hadoop fs -put [文件路径] [hadoop路径]
    • eg：hadoop fs -put ruochen.txt /hadoopruochen/test

  • 下载 Hadoop 文件到本地

    • hadoop fs -get [hadoop文件路径] [本地路径]
    • eg：hadoop fs -get /hadoopruochen/test/ruochen.txt haha.txt

  • 移动文件

    • hadoop fs -mv [源路径] [目的路径]
    • eg：hadoop fs -mv /hadoopruochen/test/ruochen.txt /user

  • 删除文件

    • hadoop fs -rm [-r] [文件]
    • eg：hadoop fs -rm /hadoopruochen
    • eg：hadoop fs -rm -r /hadoopruochen

5. Java 操作 HDFS API

5.1. 新建项目

  • 新建一个空项目，我这里起名为BigData

在这里插入图片描述

  • 新建一个module

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • Finish 即可
  • pom.xml如下
<?xml version="1.0" encoding="UTF-8"?>

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.neusoft</groupId>
    <artifactId>hadoopdemo</artifactId>
    <version>1.0-SNAPSHOT</version>

    <name>hadoopdemo</name>
    <!-- FIXME change it to the project's website -->
    <url>http://www.example.com</url>

    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <maven.compiler.source>1.7</maven.compiler.source>
        <maven.compiler.target>1.7</maven.compiler.target>
        <hadoop.version>2.6.0-cdh5.7.0</hadoop.version>
    </properties>
    <repositories>
        <repository>
            <id>cloudera</id>
            <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
        </repository>
    </repositories>

    <dependencies>
        <!--        添加hadoop依赖-->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.11</version>
            <scope>test</scope>
        </dependency>
    </dependencies>

    <build>
        <pluginManagement><!-- lock down plugins versions to avoid using Maven defaults (may be moved to parent pom) -->
            <plugins>
                <!-- clean lifecycle, see https://maven.apache.org/ref/current/maven-core/lifecycles.html#clean_Lifecycle -->
                <plugin>
                    <artifactId>maven-clean-plugin</artifactId>
                    <version>3.1.0</version>
                </plugin>
                <!-- default lifecycle, jar packaging: see https://maven.apache.org/ref/current/maven-core/default-bindings.html#Plugin_bindings_for_jar_packaging -->
                <plugin>
                    <artifactId>maven-resources-plugin</artifactId>
                    <version>3.0.2</version>
                </plugin>
                <plugin>
                    <artifactId>maven-compiler-plugin</artifactId>
                    <version>3.8.0</version>
                </plugin>
                <plugin>
                    <artifactId>maven-surefire-plugin</artifactId>
                    <version>2.22.1</version>
                </plugin>
                <plugin>
                    <artifactId>maven-jar-plugin</artifactId>
                    <version>3.0.2</version>
                </plugin>
                <plugin>
                    <artifactId>maven-install-plugin</artifactId>
                    <version>2.5.2</version>
                </plugin>
                <plugin>
                    <artifactId>maven-deploy-plugin</artifactId>
                    <version>2.8.2</version>
                </plugin>
                <!-- site lifecycle, see https://maven.apache.org/ref/current/maven-core/lifecycles.html#site_Lifecycle -->
                <plugin>
                    <artifactId>maven-site-plugin</artifactId>
                    <version>3.7.1</version>
                </plugin>
                <plugin>
                    <artifactId>maven-project-info-reports-plugin</artifactId>
                    <version>3.0.0</version>
                </plugin>
            </plugins>
        </pluginManagement>
    </build>
</project>

5.2. 测试

5.2.1 新建文件夹

  • 接下来，我们使用 Java 连接 hdfs，并新建一个文件夹
  • 在test下新建HDFSApp.java，如下

在这里插入图片描述

  • 通过测试方法连接HDFS，并新建一个/ruochen/test2文件夹，代码如下

    package com.neusoft.hdfs;

import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;
import org.apache.hadoop.conf.Configuration;

import java.net.URI;

public class HDFSApp {
    Configuration configuration = null;
    FileSystem fileSystem = null;
    public static final String HDFS_PATH = "hdfs://192.168.10.128:8020";

    @Test
    public void mkdir() throws Exception {
        fileSystem.mkdirs(new Path("/ruochen/test2"));
    }

    // Java 连接hdfs 需要先建立一个连接
    // 测试方法执行之前要执行的操作
    @Before
    public void setUp() throws Exception {
        System.out.println("开始建立与HDFS的连接");
        configuration = new Configuration();
        fileSystem = FileSystem.get(new URI(HDFS_PATH), configuration, "hadoop");
    }

    // 测试之后要执行的代码
    @After
    public void tearDown() {
        configuration = null;
        fileSystem = null;
        System.out.println("关闭与HDFS的连接");
    }
}
  • 然后运行mkdir()函数，运行完后我们可以看到已经新建了一个文件夹

在这里插入图片描述

5.2.2 新建文件

  • 新建文件代码如下

        // 创建文件
    @Test
    public void create() throws Exception {
        Path path = new Path("/ruochen/test1/hello.txt");
        FSDataOutputStream outputStream = fileSystem.create(path);
        outputStream.write("hello world".getBytes());
        outputStream.flush();
        outputStream.close();
    }
  • 运行结束后，我们通过shell脚本查看一下

在这里插入图片描述

5.2.3 修改文件名称

  • Java代码如下

       // rename文件
   @Test
   public void rename() throws Exception {
       Path oldPath = new Path("/ruochen/test1/hello.txt");
       Path newPath = new Path("/ruochen/test1/xixi.txt");
       fileSystem.rename(oldPath, newPath);
   }
  • 运行结果如下

在这里插入图片描述

5.2.4 查看文件

  • Java代码如下

        // 查看文件
    @Test
    public void cat() throws Exception {
        Path path = new Path("/ruochen/test1/xixi.txt");
        FSDataInputStream inputStream = fileSystem.open(path);
        IOUtils.copyBytes(inputStream, System.out, 1024);
        inputStream.close();
    }
  • 运行结果

在这里插入图片描述

5.2.5 上传文件

  • Java 代码如下

        // 上传文件
    @Test
    public void upload() throws Exception {
        Path localPath = new Path("cifar-10-python.tar.gz");
        Path hdfsPath = new Path("/");
        fileSystem.copyFromLocalFile(localPath, hdfsPath);
    }
  • 运行完成后，我们可以看到 hdfs 已经成功显示刚才上传的文件

在这里插入图片描述

5.2.6 下载文件

  • Java 代码

        // 下载文件
    @Test
    public void download() throws Exception {
        Path hdfsPath = new Path("/hadoop-2.6.0-cdh5.7.0.tar.gz");
        Path localPath = new Path("./down/hadoop-2.6.0-cdh5.7.0.tar.gz");
        fileSystem.copyToLocalFile(false, hdfsPath, localPath, true);
    }
  • 运行完后我们可以看到当前目录 down 下已经有了刚刚下载的文件

在这里插入图片描述
在这里插入图片描述

6. Java 实现 WordCount

这里要注意在 main 下操作， test下是用来测试的
  • 新建一个 WordCountApp 类

在这里插入图片描述

  • Java 代码如下

    package com.neusoft;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

/**
 * 词频统计
 */
public class WordCountApp {
    /**
     * map 阶段
     */
    public static class MyMapper extends Mapper<LongWritable, Text, Text, LongWritable> {
        LongWritable one = new LongWritable(1);

        @Override
        protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
            // 分
            String line = value.toString();
            // 拆分
            String[] s = line.split(" ");
            for (String word : s) {
                // 输出
                context.write(new Text(word), one);
            }
        }
    }

    /**
     * reduce 阶段
     */
    public static class MyReducer extends Reducer<Text, LongWritable, Text, LongWritable> {
        @Override
        protected void reduce(Text key, Iterable<LongWritable> values, Context context) throws IOException, InterruptedException {
            long sum = 0;
            // 合并统计
            for (LongWritable value : values) {
                // 求和
                sum += value.get();
            }
            context.write(key, new LongWritable(sum));
        }
    }

    public static void main(String[] args) throws Exception {
        Configuration configuration = new Configuration();
        Job job = Job.getInstance(configuration, "wordcount");
        job.setJarByClass(WordCountApp.class);

        // 设置 map 相关参数
        FileInputFormat.setInputPaths(job, new Path(args[0]));
        job.setMapperClass(MyMapper.class);
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(LongWritable.class);

        // 设置 reduce 相关参数
        job.setReducerClass(MyReducer.class);
        job.setOutputKeyClass(MyReducer.class);
        job.setOutputValueClass(LongWritable.class);

        Path outPath = new Path(args[1]);
        FileSystem fileSystem = FileSystem.get(configuration);
        if (fileSystem.exists(outPath)) {
            // 删除文件
            fileSystem.delete(outPath, true);
            System.out.println("输出路径已存在, 已被删除");
        }
        FileOutputFormat.setOutputPath(job, outPath);

        // 控制台输出详细信息
        // 输出：1  不输出：0
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}
  • 打包程序

在这里插入图片描述
在这里插入图片描述

  • 打包完成后，将 jar 包上传到 hadoop 虚拟机

在这里插入图片描述
在这里插入图片描述

  • 首先通过shell命令将输出文件夹删除，不然重复执行会报错

    hadoop fs -rm -r /output/wc

  • 然后执行下列操作

    hadoop jar hadoopdemo-1.0-SNAPSHOT.jar com.neusoft.WordCountApp hdfs://hadoop000:8020/ruochenchen.txt hdfs://hadoop000:8020/output/wc
    hadoop jar hadoopdemo-1.0-SNAPSHOT.jar com.neusoft.WordCountApp 输入文件 输出文件

    在这里插入图片描述

  • 然后我们可以看到作业中有显示

在这里插入图片描述

  • 通过 cat 命令可以查看一下输出的文件

在这里插入图片描述

hadoop fs -cat /output/wc/part-r-00000
![在这里插入图片描述](https://ucc.alicdn.com/images/user-upload-01/20210610205941855.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI5MzM5NDY3,size_16,color_FFFFFF,t_70)
文章标签：
Java
Shell
数据可视化
分布式计算
虚拟化
Hadoop
API
ruochen_
目录
相关文章
橙子园
|
存储 分布式计算 监控
Hadoop简介、安装
hadoop平台是一个可靠的、可扩展的、可分布式计算的开源软件。 Apache Hadoop平台是一个框架，允许使用简单的编程模型。该平台被设计成可以从单个服务器扩展到数千台服务器，每台服务器都提供本地计算和存储。该平台也被设计成可检测和处理应用层的故障（即高可用、高容错），高可用服务是基于计算机集群的，并且每一台计算机有可能出错。 #### hadoop应用：
橙子园
221 0
一个处女座的程序猿
|
存储 SQL 分布式计算
BigData之Hadoop：Hadoop的简介、深入理解、下载、案例应用之详细攻略
BigData之Hadoop：Hadoop的简介、深入理解、下载、案例应用之详细攻略
一个处女座的程序猿
496 0
BigData之Hadoop：Hadoop的简介、深入理解、下载、案例应用之详细攻略
夜孤城
|
存储 分布式计算 资源调度
第1章 Hadoop 入门
第1章 Hadoop 入门
夜孤城
354 0
一个处女座的程序猿
|
存储 SQL 分布式计算
BigData之Hadoop：Hadoop的简介、深入理解、下载、案例应用之详细攻略（一）
BigData之Hadoop：Hadoop的简介、深入理解、下载、案例应用之详细攻略
一个处女座的程序猿
151 0
BigData之Hadoop：Hadoop的简介、深入理解、下载、案例应用之详细攻略（一）
memos1
|
分布式计算 Hadoop
Hadoop简介
Hadoop简介 Hadoop是使用Java编写，允许分布在集群，使用简单的编程模型的计算机大型数据集处理的Apache的开源框架。 Hadoop框架应用工程提供跨计算机集群的分布式存储和计算的环境。
memos1
1402 0
大数据资讯
|
分布式计算 Hadoop Linux
Hadoop新手篇：hadoop入门基础教程
关于hadoop的分享此前一直都是零零散散的想到什么就写什么，整体写的比较乱吧。最近可能还算好的吧，毕竟花了两周的时间详细的写完的了hadoop从规划到环境安装配置等全部内容。写过程不是很难，最烦的可能还是要给每一步配图，工程量确实比较大。
大数据资讯
6596 0
roundone
|
存储 分布式计算 资源调度
Hadoop笔记
本文是学习《Hadoop权威指南》时所作的笔记，用于加深理解。
roundone
1886 0
rayner
|
大数据 分布式计算 Hadoop
hadoop_学习_01_入门准备
一、入门准备 1.零基础学习Hadoop 2.大数据初学者应该知道的知识
rayner
690 0
互联网编程
|
存储 分布式计算 Java
Hadoop简单入门视频总结
hadoop简单介绍和简单实践视频教程 慕课网： https://www.imooc.com/video/7642 预备知识： liunx基本操作 java开发基础知识 google的大数据技术:MapReduce,BigTables,GFS 革命性变化： 成本降低，能用pc机就不用大型机和高端存储。
互联网编程
1154 0
余二五
|
存储 分布式计算 Hadoop
Hadoop权威指南学习笔记_第一章_初识Hadoop
余二五
1390 0

热门文章

最新文章

  • 1
    weex-html5 组件进阶
  • 2
    会声会影2023视频编辑软件免费序列号永久
  • 3
    苹果电脑 Mac OS X 系统上防止误按 command+Q 退出软件
  • 4
    SSH连接远程服务器，本地known_hosts文件记录了什么
  • 5
    31.6. MongoDB
  • 6
    saltstack的探索-改善管理用户的sls文件
  • 7
    marathon小知识点分享之如何远程调试marathon
  • 8
    Myeclipse 操作数据库
  • 9
    光伏发电或能控制城市天气
  • 10
    WPF进度条
  • 1
    ROS机器视觉入门：从基础到人脸识别与目标检测
    83
  • 2
    鸿蒙开发：自定义一个简单的标题栏
    27
  • 3
    鸿蒙开发：切换至基于rcp的网络请求
    28
  • 4
    【MyBatisPlus·最新教程】包含多个改造案例，常用注解、条件构造器、代码生成、静态工具、类型处理器、分页插件、自动填充字段
    31
  • 5
    《C++跨平台编译：打破系统边界，释放代码潜能》
    23
  • 6
    电路板设计中射频反馈线的优化
    10
  • 7
    《C++20 图形界面程序：速度与渲染效率的双重优化秘籍》
    10
  • 8
    图解 Spring 循环依赖，一文吃透！
    18
  • 9
    关于 Kafka 高性能架构，这篇说得最全面，建议收藏！
    10
  • 10
    微服务和 SOA 的 6 大核心区别，你都知道吗？
    14

    • 相关课程

    更多
  • Hadoop快速入门
  • HBase入门教程
  • HBase入门与实战
  • E-MapReduce入门
  • Hadoop 分布式计算框架 MapReduce
  • 大数据Hadoop快速入门

    • 相关电子书

    更多
  • \"Hadoop的过去现在和未来——从阿里云梯到E-MapReduce \"
  • Why is my Hadoop* jobslow?
  • Hadoop的过去现在和未来

    • 相关实验场景

    更多
  • 搭建Hadoop环境
    • 下一篇
    阿里云OSS设置跨域访问