学习hadoop需要什么基础

简介: “学习hadoop需要什么基础”这已经不是一个新鲜的话题了,随便上网搜索一下就能找出成百上千篇的文章在讲学习hadoop需要掌握的基础。再直接的一点的问题就是——学Hadoop难吗?用一句特别让人无语的话回答就是:难不会,会不难!

“学习hadoop需要什么基础”这已经不是一个新鲜的话题了,随便上网搜索一下就能找出成百上千篇的文章在讲学习hadoop需要掌握的基础。再直接的一点的问题就是——学Hadoop难吗?用一句特别让人无语的话回答就是:难不会,会不难!

 f76a862235a6f46efc80b148b7933a8ab1dae573

趁着学校放假的时间,写了一些hadoop学习分享的文章。刚开始写的几篇稍微有点乱,其中有一篇就是在说学习hadoop需要什么样基础的。所谓的难不会,会不难,必然也是建立你现在的基础之上的。假定你连基础的计算机基础都没有,那可能真的就是“难不会”了。如果你是有一个良好的计算机基础的,比如,虚拟机的配置你会、拥有JAVA基础和Linux操作基础,那学习hadoop对你来可能就是“会不难”哦!

892d7162dd73fda35e366d6a3e740ff5033ee034

当你看了很多介绍“学习hadoop需要什么基础”的文章后,你一定会得出一个结论,那就是学习hadoop所必须的三个基础技能:JAVA基础、Linux基础、虚拟机基础(上面已经说过了)。所有的文章在说完这个三个基础之后,好像在告诉我们所有人,你只要有这个三个基础就一定能够学好hadoop,从此走上人生巅峰······其实,也不尽然,只有当你真正接触了hadoop,你才会发现真正的问题所在。

接触过hadoop的人都知道,单独搭建hadoo里每个组建都需要运行环境、修改配置文件、测试等过程。如果仅仅是安装一下运行环境就行了,那你就大错特错了,几乎每个组件都是坑,这些坑几乎是不可能让初学者有一个愉快的学习过程的。Hadoop虽然起源于国外,但国内发行版本也蛮多,但是都没有去解决环境搭建的问题。如果说他们没有关注到运行环境搭建繁琐这样的问题话,我肯定是不相信的。真的不知道是他们现在的技术解决不了这个问题,还是不想去花费时间去解决?

今年3月初的时候,一个做程序开发的朋友给了一个国产发行版DKHadoop,是大快搜索开源的发行版hadoop。这款hadoop版本终于解决了运行环境搭建繁琐的问题,它将开源社区里多种常用的组件包括:HDFS,Hbase,Storm,Spark,Flume,Kafka,Mahout,ES等都集成到一个平台里,只需简单的一键安装就能完成,需要调用的时候直接调用即可,终于让我觉得不用在像以前拿样再去安装调试等等。

 1f9314e0cfdce5f5d82c73cf393c93a45873f1d8

所以,我觉得学习hadoop需要的不仅仅是JAVA、虚拟机、Linux这三个方面的基础,选择的hadoop版本也是很重要。我们学习hadoop的重点是想要去开发一些东西,而不是为了学习运行环境的安装,这样会让人觉得有点本末倒置!

正在学习hadoop或者准备学习hadoop的朋友,个人还是比较推荐DKHadoop这套发行版,毕竟对新手而言算是很友好的了。我在用的是标准本三节点dkhadoop版本(放心,是免费的),虽然是免费的,但权限都是开放的。所以,对于新手或者个人研究而言已经够用了。需要dkhadoop安装包的,可以留言给我,可以打包发你!

相关文章
|
分布式计算 Hadoop 大数据
Hadoop学习:深入解析MapReduce的大数据魔力之数据压缩(四)
Hadoop学习:深入解析MapReduce的大数据魔力之数据压缩(四)
167 0
|
分布式计算 Hadoop 大数据
Hadoop学习:深入解析MapReduce的大数据魔力(三)
Hadoop学习:深入解析MapReduce的大数据魔力(三)
108 0
|
1月前
|
分布式计算 Hadoop 大数据
大数据体系知识学习(一):PySpark和Hadoop环境的搭建与测试
这篇文章是关于大数据体系知识学习的,主要介绍了Apache Spark的基本概念、特点、组件,以及如何安装配置Java、PySpark和Hadoop环境。文章还提供了详细的安装步骤和测试代码,帮助读者搭建和测试大数据环境。
61 1
|
1月前
|
SQL 分布式计算 Hadoop
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(一)
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(一)
46 4
|
1月前
|
SQL
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(二)
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(二)
37 2
|
6月前
|
分布式计算 Hadoop 大数据
Hadoop【hadoop学习大纲完全总结01+02+03+04+05】【自学阶段整理的xmind思维导图分享】【点击可放大看高清】
【4月更文挑战第5天】Hadoop【hadoop学习大纲完全总结01+02+03+04+05】【自学阶段整理的xmind思维导图分享】【点击可放大看高清】
72 5
|
存储 分布式计算 Hadoop
Hadoop学习:深入解析MapReduce的大数据魔力(二)
Hadoop学习:深入解析MapReduce的大数据魔力(二)
151 0
|
存储 分布式计算 Hadoop
Hadoop学习指南:探索大数据时代的重要组成——HDFS(上)
Hadoop学习指南:探索大数据时代的重要组成——HDFS(上)
121 0
|
存储 分布式计算 Hadoop
Hadoop学习:深入解析MapReduce的大数据魔力(一)
Hadoop学习:深入解析MapReduce的大数据魔力(一)
167 0
|
存储 XML 分布式计算
Hadoop学习指南:探索大数据时代的重要组成——HDFS(下)
Hadoop学习指南:探索大数据时代的重要组成——HDFS(下)

相关实验场景

更多
下一篇
无影云桌面