学hadoop需要什么基础-阿里云开发者社区

开发者社区> 本宫没空> 正文

学hadoop需要什么基础

简介:
+关注继续查看

学hadoop需要什么基础
最近一段时间一直在接触关于hadoop方面的内容,从刚接触时的一片空白,到现在也能够说清楚一些问题。这中间到底经历过什么只怕也就是只有经过的人才会体会到吧。前几天看到有个人问“学hadoop需要什么基础”,这个问题好像至今还没好好细想过,可能是因为身边有大神在带着我学习hadoop的缘故,也就没想过这样的一个简单的问题。
我们目前在用的hadoop版本并不是原生态的版本,我们在用的是国内的一款商业发行版,叫DKhadoop。大快搜索推出的一款原生态开发的Hadoop集成生态环境。从使用的效果上看DKhadoop与开源环境是可以做到完全兼容的。准备过段时间抽个空,试着写一下以DKhadoop为切入点关于学习hadoop需要掌握什么基础。image

【DKhadoop基础技术架构图】
关于学hadoop需要什么基础这样的问题,看到一篇关于介绍学习原生hadoop的分享,个人觉得还是很不错的一篇文章。这里也分享给大家,供参考之用。
关于学习hadoop需要具备什么基础知识,首先应该从整体了解hadoop,包括hadoop是什么,能够帮助我们解决什么问题,以及hadoop的使用场景等。在有了整体上的了解后,就可以开始系统的学习hadoop。当然,若是能够结合一些实践性的东西学习会更有助于理解hadoop。
学习hadoop需要什么基础:
Linux:
① 需要能够熟练操作linux常用命令以及网络配置;
② 熟悉用户以及权限管理操作;
③ 需要熟悉软件包以及系统命令管理;
④ 还需要学习一下shell编程。
Java:
⑤ 需要具备一定的javase基础知识;
⑥ 如果懂java web及各种框架知识那就更好了。
虚拟机:
⑦ 需要掌握虚拟机;
⑧ 需要安装linux操作系统
⑨ 需要配置虚拟机网络
除了上述这几个方面,我们还需要了解hadoop的单机模式、伪分布模式和分布式模式的搭建方式。了解MapReduce分布式计算框架、Yarn集群资源管理和调度平台、hdfs分布式文件系统、hive数据仓库、HBase实时分布式数据库、Flume日志收集工具、sqoop数据库ETL工具、zookeeper分布式协作服务、Mahout数据挖掘库等。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
9998 0
hadoop from rookie to ninja - 1. Basic Architecture(基础架构)
1. Daemons(守护进程) 新老架构 老的: Apache Hadoop 1.x (MRv1)   新的: Apache Hadoop 2.x (YARN)-Yet Another Resource Negotiator   1-1) Apache Hadoop 1.
1229 0
Hadoop系列之HDFS初识、理论基础与读写流程
HDFS初识、理论基础与读写流程
48 0
带你读《OpenCV 4计算机视觉项目实战 (原书第2版)》之二:OpenCV基础知识导论
本书首先介绍OpenCV的入门知识及安装,然后介绍OpenCV的基础知识,包括用户界面、矩阵运算、滤波器和直方图等,之后介绍复杂的计算机视觉算法,包括对象分割和分类、视频监控、对象跟踪等,后探讨对象跟踪、文本识别、机器学习和人脸检测等高级技术。阅读本书之后,你将掌握常用和新的计算机视觉技术,并学会从零开始构建各类OpenCV项目。
4004 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
13793 0
《C++语言基础》实践参考——平方根中的异常
返回:贺老师课程教学链接 项目要求 【项目1-平方根中的异常】 编写一个程序,求输入数的平方根。设置异常处理,当输入负数时采用异常处理机制给出提示。 [参考解答] #include<iostream> #include<cmath> using namespace std; double squareroot(double &a
767 0
【Offer5000-基础产品事业部1】- 招聘职位详情
阿里云智能云原生应用平台负责服务阿里集团,并面向行业客户承担加速企业数字化转型升级,推动核心技术互联网化演进的责任,帮助企业客户和开发者全面拥抱云计算、最大化发挥云计算的价值、享受云计算的红利。团队本次招聘岗位4个:1、云原生研发Leader ;2、 Serverless研发专家;3、容器平台技术专家;4、Serverless基础平台研发专家。
3390 0
+关注
26
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载