Hadoop 1.0.3 在CentOS 6.2上安装过程 [个人安装通过的全程记录]

简介: //安装SSH  [root@localhost /]# sudo yum install ssh   //生成密钥      [root@localhost /]# ssh-keygen  (可以一路回车) 生成下面两个文件: /root/.
 
//安装SSH 

[root@localhost /]# sudo yum install ssh

 

//生成密钥 

 
 
[root@localhost /]# ssh-keygen 
(可以一路回车)
生成下面两个文件:
/root/.ssh/id_rsa
/root/.ssh/id_rsa.pub

 

[root@localhost .ssh]# cd /root/.ssh/ 

 

//实际情况是把公钥复制到另外一台机器上,并且写入到另外一台机器上的authorized_keys文件中 

 
[root@localhost .ssh]# cat ./id_rsa.pub>>./authorized_keys

 

 
 
[root@localhost .ssh]# cd /home

(另外一个更简单的复制方法是使用 ssh-copy-id -i ~/.ssh/id_rsa.pub  root@192.168.1.201)

 

//配置JDK环境变量 

 
[root@localhost opt]# vi /etc/profile

 

 
export JAVA_HOME=/opt/jdk1.6.0_31
export PATH=$JAVA_HOME/bin:$PATH:.

//使配置生效

 
[root@localhost opt]# source /etc/profile

 

//安装Hadoop 1.0.3 

 
 
[root@localhost opt]# rpm -i hadoop-1.0.3-1.x86_64.rpm

 

//查看安装后的Hadoop版本号信息

 
[root@localhost opt]# hadoop version

 

(如果报错,请检查 hadoop-env.sh 中的java路径配置是否正确)

 
 
修改hadoop配置文件(/etc/hadoop)

[root@localhost hadoop]# cd /etc/hadoop  

 
[root@localhost hadoop]# vi hadoop-env.sh

 

 
export JAVA_HOME=/opt/jdk1.6.0_31

 

 

 
[root@localhost hadoop]# vi core-site.xml

 

 
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.1.101:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop</value>
</property>
</configuration>

 

 
 
[root@localhost hadoop]# vi hdfs-site.xml

 

 
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

 

 

 
[root@localhost hadoop]# vi mapred-site.xml

 

 
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>192.168.1.101:9001</value>
</property>
</configuration>

 

//格式化文件系统 

 
 
[root@localhost opt]# hadoop namenode -format

 

 

//启动Hadoop相关的所有服务 (/usr/sbin)
[root@localhost sbin]# start-all.sh
或 
[root@localhost opt]# /usr/sbin/start-all.sh
 

 

(如果没有执行权限,需要将/usr/sbin目录下的相关sh文件设置执行权限)
 
说明:
 
start-all.sh
stop-all.sh
start-dfs.sh
stop-dfs.sh
start-mapred.sh
stop-mapred.sh
slaves.sh
 

 

 //jps查看已经启动的服务进程信息

 
 
[root@localhost hadoop]# jps

 

 
5131 NameNode
5242 DataNode
5361 SecondaryNameNode
5583 TaskTracker
5463 JobTracker
6714 Jps
 

 

防火墙需要开放的端口:
9000

9001  

50010

 

 

 
(访问 http://192.168.1.101:50070  http://192.168.1.101:50030)
[root@localhost hadoop]# hadoop dfsadmin -report

 

 

 
为运行例子 wordcount 作准备
[root@localhost opt]# hadoop fs -mkdir input

 

 
[root@localhost opt]# echo "Hello World Bye World" > file01
[root@localhost opt]# echo "Hello Hadoop Goodbye Hadoop" > file02

 

 
[root@localhost opt]# hadoop fs -copyFromLocal ./file0* input

 

 

 
运行例子 wordcount
[root@localhost opt]# hadoop jar /usr/share/hadoop/hadoop-examples-1.0.3.jar wordcount input output

 

 
12/08/11 12:00:30 INFO input.FileInputFormat: Total input paths to process : 2
12/08/11 12:00:30 INFO util.NativeCodeLoader: Loaded the native-hadoop library
12/08/11 12:00:30 WARN snappy.LoadSnappy: Snappy native library not loaded
12/08/11 12:00:31 INFO mapred.JobClient: Running job: job_201208111137_0001
12/08/11 12:00:32 INFO mapred.JobClient:  map 0% reduce 0%
12/08/11 12:01:05 INFO mapred.JobClient:  map 100% reduce 0%
12/08/11 12:01:20 INFO mapred.JobClient:  map 100% reduce 100%
12/08/11 12:01:25 INFO mapred.JobClient: Job complete: job_201208111137_0001
12/08/11 12:01:25 INFO mapred.JobClient: Counters: 29
12/08/11 12:01:25 INFO mapred.JobClient:   Job Counters 
12/08/11 12:01:25 INFO mapred.JobClient:     Launched reduce tasks=1
12/08/11 12:01:25 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=49499
12/08/11 12:01:25 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0
12/08/11 12:01:25 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0
12/08/11 12:01:25 INFO mapred.JobClient:     Launched map tasks=2
12/08/11 12:01:25 INFO mapred.JobClient:     Data-local map tasks=2
12/08/11 12:01:25 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=12839
12/08/11 12:01:25 INFO mapred.JobClient:   File Output Format Counters 
12/08/11 12:01:25 INFO mapred.JobClient:     Bytes Written=41
12/08/11 12:01:25 INFO mapred.JobClient:   FileSystemCounters
12/08/11 12:01:25 INFO mapred.JobClient:     FILE_BYTES_READ=79
12/08/11 12:01:25 INFO mapred.JobClient:     HDFS_BYTES_READ=276
12/08/11 12:01:25 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=64705
12/08/11 12:01:25 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=41
12/08/11 12:01:25 INFO mapred.JobClient:   File Input Format Counters 
12/08/11 12:01:25 INFO mapred.JobClient:     Bytes Read=50
12/08/11 12:01:25 INFO mapred.JobClient:   Map-Reduce Framework
12/08/11 12:01:25 INFO mapred.JobClient:     Map output materialized bytes=85
12/08/11 12:01:25 INFO mapred.JobClient:     Map input records=2
12/08/11 12:01:25 INFO mapred.JobClient:     Reduce shuffle bytes=85
12/08/11 12:01:25 INFO mapred.JobClient:     Spilled Records=12
12/08/11 12:01:25 INFO mapred.JobClient:     Map output bytes=82
12/08/11 12:01:25 INFO mapred.JobClient:     CPU time spent (ms)=4770
12/08/11 12:01:25 INFO mapred.JobClient:     Total committed heap usage (bytes)=246751232
12/08/11 12:01:25 INFO mapred.JobClient:     Combine input records=8
12/08/11 12:01:25 INFO mapred.JobClient:     SPLIT_RAW_BYTES=226
12/08/11 12:01:25 INFO mapred.JobClient:     Reduce input records=6
12/08/11 12:01:25 INFO mapred.JobClient:     Reduce input groups=5
12/08/11 12:01:25 INFO mapred.JobClient:     Combine output records=6
12/08/11 12:01:25 INFO mapred.JobClient:     Physical memory (bytes) snapshot=391634944
12/08/11 12:01:25 INFO mapred.JobClient:     Reduce output records=5
12/08/11 12:01:25 INFO mapred.JobClient:     Virtual memory (bytes) snapshot=3159781376
12/08/11 12:01:25 INFO mapred.JobClient:     Map output records=8

 

 

 
//查看统计结果
[root@localhost opt]# hadoop fs -cat output/part-r-00000

 

 
Bye1
Goodbye1
Hadoop2
Hello2
World2

 

 

//---------------------------------------

作业日志存放目录:

/var/log/hadoop/root/userlogs/

 

 

//---------------------------------------
安装 hadoop-1.0.3-1 后,存放的目录有:
 
/etc/hadoop
/var/run/hadoop
/var/log/hadoop
/usr/share/hadoop
/usr/share/doc/hadoop
/usr/etc/hadoop
/usr/bin/hadoop(文件)
/usr/include/hadoop
 

 

 

 

 

 

 
 
 
 
目录
相关文章
|
Java 应用服务中间件 Windows
SpringBoot——SpringBoot打war包并部署到Tomcat
SpringBoot——SpringBoot打war包并部署到Tomcat
1407 0
SpringBoot——SpringBoot打war包并部署到Tomcat
|
3月前
|
存储 人工智能 运维
海量异构数据统一存储:阿里云OSS 对象 / 向量 / 表格桶、MetaQuery、OSS Agent 实战手册
随着大模型、AI Agent、多模态业务快速发展,企业数据形态发生巨大变化。图片、视频、音频、文档等非结构化素材,大模型生成的高维向量嵌入,业务产生的海量结构化表格数据交织在一起。传统存储产品往往只能单独处理一类数据,向量需要部署独立向量库,结构化数据需要搭建数据湖,非结构化文件使用对象存储,多套系统并存带来架构复杂、运维繁重、成本居高不下、数据割裂等一系列现实痛点。
173 0
|
4月前
|
消息中间件 人工智能 监控
高并发下 AI Agent 策略:分布式 Agent 系统的架构设计
本文探讨AI Agent在高并发场景下的系统架构挑战与设计策略,涵盖事件驱动架构、消息队列调度、Agent池化、模型服务独立部署、Continuous Batching、RAG优化、上下文管理及成本控制等核心要点,助力构建稳定高效的生产级智能体系统。
603 1
|
3月前
|
机器学习/深度学习 数据采集 人工智能
人工智能训练师职业全解析:零基础入行指南
人工智能训练师是做什么的?本文全面解析人工智能训练师的职业定义、技能要求、薪资水平、入行路径和发展前景,帮你快速了解这个新兴职业,立即开启你的AI职业之路!
1052 0
|
5月前
|
人工智能 安全 Android开发
阿里云无影云电脑官网链接:个人版和企业版区别及云电脑APP客户端一键下载
阿里云无影云电脑提供个人版(14.9元/月,适配办公、游戏等)与企业版(4核8G仅199元/年,支持安全防护、批量部署)。含APP一键下载(Win/macOS/iOS/Android)及免安装网页端,官网直达+专属优惠券领取。阿里云无影云电脑官网:https://t.aliyun.com/U/p5HodU
778 2
|
5月前
|
机器学习/深度学习 人工智能 自然语言处理
可计算元认知文本分析:跨领域语义漂移的多层解释框架与实证研究
背景:跨领域语义漂移(semantic drift)是自然语言处理与知识融合中的核心障碍。前期研究已构建了三种量化手段——Jaccard(结构漂移)、Word2Vec(语义漂移)与 SBERT(句子级漂移),但仅提供“漂移多少”的数值,缺乏可解释性与因果解释。 结论:四层框架实现了从“是否漂移” → “漂移多少” → “为何漂移” → “如何漂移”的完整链路,为跨领域知识对话提供了量化 解释 因果 句子四维支撑。该框架可推广至其他多学科语料,助力AI Human 协同的可解释知识融合。 关键词:语义漂移;可解释性;大语言模型(LLM);因果推断;SBERT;可计算元认知
|
5月前
|
人工智能
AI工作流实践:如何降低内容运营中的接力成本?
AI工作流不替代人决策,而是打通内容运营全链路断点:需求沉淀、资料检索、初稿生成、审核留痕、发布记录、数据复盘。通过结构化任务+知识库+智能体协同,将反复查找、转述、遗漏的“接力成本”大幅降低,让人专注事实判断与质量把关。(239字)
|
6月前
|
供应链 安全 网络协议
从Silver Fox新变种看2026年网络钓鱼的攻防进化
2026年初,德企Hexastrike披露“银狐”团伙利用AtlasCross RAT木马,通过伪造Zoom、Signal等知名软件域名实施精准钓鱼。攻击融合拼错域名、盗用代码签名证书、无文件内存注入及针对性反杀软技术,严重威胁亚洲商务与财务人员安全。
534 3
|
6月前
|
人工智能 运维 调度
AI大模型训练软件怎么选?企业级落地不能只看"能训练",更要看"能运营"
企业亟需专业AI大模型训练软件,以统一调度多GPU/NPU、多团队、多模型及跨数据中心算力,提升利用率与研发效率。博云AIOS作为国产化、私有化、训推一体的企业级AI操作系统,支持异构芯片、全流程覆盖与千卡级运营,助力大模型真正落地生产。
|
6月前
|
机器学习/深度学习 人工智能 算法框架/工具
好用的推理训练引擎横向评测:主流MLOps平台深度对比
本文横向评测五大主流AI基础设施平台(博云AIOS BMP、AWS SageMaker、Google Vertex AI、Azure ML、阿里云PAI),聚焦推理训练引擎,从功能完整性、异构算力支持、私有化能力、易用性及性价比五大维度深度对比,助力企业精准选型。

热门文章

最新文章