Linux CentOS下Hadoop伪分布再配置,再次一定要玩真的集群啦~~

简介: 上次配了一次,没多少感觉。 代码看累了。 配置一次再轻松一下脑袋。。。 不过,这次是在家里的VM上,用最新的JDK-7U-17和上HADOOP-1.1.2搞的。 CENTOS版本来6.3-I386. 一次OK。

上次配了一次,没多少感觉。

代码看累了。

配置一次再轻松一下脑袋。。。

不过,这次是在家里的VM上,用最新的JDK-7U-17和上HADOOP-1.1.2搞的。

CENTOS版本来6.3-I386.

一次OK。

这次参考的贴子是:

http://bjbxy.blog.51cto.com/854497/352692

相关输出如下:

# jps
2614 Jps
2280 TaskTracker
1908 NameNode
2110 SecondaryNameNode
2012 DataNode
2169 JobTracker

报告输出:

HDFS管理界面:

 WORDCOUNT的JOB测试样例运行:

]# ./hadoop jar hadoop-examples-1.1.2.jar wordcount bxy output
Exception in thread "main" java.io.IOException: Error opening job jar: hadoop-examples-1.1.2.jar
        at org.apache.hadoop.util.RunJar.main(RunJar.java:90)
Caused by: java.io.FileNotFoundException: hadoop-examples-1.1.2.jar (No such file or directory)
        at java.util.zip.ZipFile.open(Native Method)
        at java.util.zip.ZipFile.<init>(ZipFile.java:214)
        at java.util.zip.ZipFile.<init>(ZipFile.java:144)
        at java.util.jar.JarFile.<init>(JarFile.java:153)
        at java.util.jar.JarFile.<init>(JarFile.java:90)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:88)
[root@localhost bin]# pwd
/usr/local/hadoop/hadoop-1.1.2/bin
[root@localhost bin]# ./hadoop jar /usr/local/hadoop/hadoop-1.1.2/hadoop-examples-1.1.2.jar wordcount bxy output
12/12/20 07:35:43 INFO input.FileInputFormat: Total input paths to process : 1
12/12/20 07:35:43 INFO util.NativeCodeLoader: Loaded the native-hadoop library
12/12/20 07:35:43 WARN snappy.LoadSnappy: Snappy native library not loaded
12/12/20 07:35:45 INFO mapred.JobClient: Running job: job_201212200705_0001
12/12/20 07:35:46 INFO mapred.JobClient:  map 0% reduce 0%
12/12/20 07:36:10 INFO mapred.JobClient:  map 100% reduce 0%
12/12/20 07:36:26 INFO mapred.JobClient:  map 100% reduce 100%
12/12/20 07:36:30 INFO mapred.JobClient: Job complete: job_201212200705_0001
12/12/20 07:36:30 INFO mapred.JobClient: Counters: 29
12/12/20 07:36:30 INFO mapred.JobClient:   Job Counters
12/12/20 07:36:30 INFO mapred.JobClient:     Launched reduce tasks=1
12/12/20 07:36:30 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=25805
12/12/20 07:36:30 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0
12/12/20 07:36:30 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0
12/12/20 07:36:30 INFO mapred.JobClient:     Launched map tasks=1
12/12/20 07:36:30 INFO mapred.JobClient:     Data-local map tasks=1
12/12/20 07:36:30 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=15472
12/12/20 07:36:30 INFO mapred.JobClient:   File Output Format Counters
12/12/20 07:36:30 INFO mapred.JobClient:     Bytes Written=1135
12/12/20 07:36:30 INFO mapred.JobClient:   FileSystemCounters
12/12/20 07:36:30 INFO mapred.JobClient:     FILE_BYTES_READ=1600
12/12/20 07:36:30 INFO mapred.JobClient:     HDFS_BYTES_READ=1280
12/12/20 07:36:30 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=105526
12/12/20 07:36:30 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=1135
12/12/20 07:36:30 INFO mapred.JobClient:   File Input Format Counters
12/12/20 07:36:30 INFO mapred.JobClient:     Bytes Read=1166
12/12/20 07:36:30 INFO mapred.JobClient:   Map-Reduce Framework
12/12/20 07:36:30 INFO mapred.JobClient:     Map output materialized bytes=1600
12/12/20 07:36:30 INFO mapred.JobClient:     Map input records=34
12/12/20 07:36:30 INFO mapred.JobClient:     Reduce shuffle bytes=1600
12/12/20 07:36:30 INFO mapred.JobClient:     Spilled Records=230
12/12/20 07:36:30 INFO mapred.JobClient:     Map output bytes=1824
12/12/20 07:36:30 INFO mapred.JobClient:     Total committed heap usage (bytes)=131665920
12/12/20 07:36:30 INFO mapred.JobClient:     CPU time spent (ms)=8970
12/12/20 07:36:30 INFO mapred.JobClient:     Combine input records=169
12/12/20 07:36:30 INFO mapred.JobClient:     SPLIT_RAW_BYTES=114
12/12/20 07:36:30 INFO mapred.JobClient:     Reduce input records=115
12/12/20 07:36:30 INFO mapred.JobClient:     Reduce input groups=115
12/12/20 07:36:30 INFO mapred.JobClient:     Combine output records=115
12/12/20 07:36:30 INFO mapred.JobClient:     Physical memory (bytes) snapshot=187215872
12/12/20 07:36:30 INFO mapred.JobClient:     Reduce output records=115
12/12/20 07:36:30 INFO mapred.JobClient:     Virtual memory (bytes) snapshot=755154944
12/12/20 07:36:30 INFO mapred.JobClient:     Map output records=169

 

目录
相关文章
|
10月前
|
应用服务中间件 Linux 网络安全
Centos 8.0中Nginx配置文件和https正书添加配置
这是一份Nginx配置文件,包含HTTP与HTTPS服务设置。主要功能如下:1) 将HTTP(80端口)请求重定向至HTTPS(443端口),增强安全性;2) 配置SSL证书,支持TLSv1.1至TLSv1.3协议;3) 使用uWSGI与后端应用通信(如Django);4) 静态文件托管路径设为`/root/code/static/`;5) 定制错误页面(404、50x)。适用于Web应用部署场景。
944 87
|
8月前
|
存储 Linux Apache
在CentOS上配置SVN至Web目录的自动同步
通过上述配置,每次当SVN仓库中提交新的更改时,`post-commit`钩子将被触发,SVN仓库的内容会自动同步到指定的Web目录,从而实现代码的连续部署。
245 16
|
8月前
|
NoSQL 安全 Linux
设置Redis在CentOS7上的自启动配置
这些步骤总结了在CentOS 7系统上设置Redis服务自启动的过程。这些命令提供了一个直接且明了的方式,确保Redis作为关键组件在系统启动时能自动运行,保障了依赖于Redis服务的应用的稳定性和可用性。
656 9
|
10月前
|
分布式计算 Hadoop Java
CentOS中构建高可用Hadoop 3集群
这个过程像是在一个未知的森林中探索。但当你抵达终点,看到那个熟悉的Hadoop管理界面时,所有的艰辛都会化为乌有。仔细观察,尽全力,这就是构建高可用Hadoop 3集群的挑战之旅。
374 21
|
10月前
|
Linux
Centos6配置阿里云yum源报错
在CentOS 6配置阿里云Yum源时,可能出现EPEL仓库访问报错(404 Not Found)。解决方法:编辑`/etc/yum.repos.d/epel.repo`文件,将`enabled`和`gpgcheck`参数设为0 ``` 此设置可解决仓库无法访问的问题。
2142 29
|
10月前
|
Ubuntu 安全 Linux
CentOS与Ubuntu中防火墙配置命令集汇
有了这些,你就能遨游在 CentOS 和 Ubuntu 的海洋中,频繁地改变你的防火墙设置,快速地应对各种安全威胁,同时也能保证你的系统可以正常工作。出发吧,勇敢的编程者,随着这些命令集的涌动,扬帆起航,走向安全的网络世界!
341 5
|
11月前
|
关系型数据库 MySQL Linux
CentOS 7系统下详细安装MySQL 5.7的步骤:包括密码配置、字符集配置、远程连接配置
以上就是在CentOS 7系统下安装MySQL 5.7的详细步骤。希望这个指南能帮助你顺利完成安装。
2798 26
|
11月前
|
安全 Linux 网络安全
在Linux(CentOS和AWS)上安装更新的git2的方法并配置github-ssh
经过以上这些步骤,你现在就能在GitHub上顺利往返,如同海洋中的航海者自由驰骋。欢迎你加入码农的世界,享受这编程的乐趣吧!
480 10
|
网络协议 Java 应用服务中间件
centos7环境下tomcat8的安装与配置
本文介绍了在Linux环境下安装和配置Tomcat 8的详细步骤。首先,通过无网络条件下的文件交互软件(如Xftp 6或MobaXterm)下载并解压Tomcat安装包至指定路径,启动Tomcat服务并测试访问。接着,修改Tomcat端口号以避免冲突,并部署Java Web应用项目至Tomcat服务器。最后,调整Linux防火墙规则,确保外部可以正常访问部署的应用。关键步骤包括关闭或配置防火墙、添加必要的端口规则,确保Tomcat服务稳定运行。