用F#从0开始打造一个大数据处理平台(1.整体规划)
MapReduce框架是必须的 Bigtable实现是必须, Bigtable的底层分布式文件系统是必须的, 监控管理的组件是必须的,为了在分布式文件系统以外, 存储各种元数据, 还需要一个轻量级的nosql数据库
Java NIO原理图文分析及代码实现
【本文转载于Java NIO原理图文分析及代码实现】
前言: 最近在分析hadoop的RPC(Remote Procedure Call Protocol ,远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。可以参考:http://baike.baidu.com/view/32726.htm )机制时,发现hadoop的RPC机制的实现
Hadoop 3.1.1伪分布式模式安装
- 学会安装Hadoop3.1.1版本的伪分布式模式
- 可以进行Hadoop技术开发(包括HDFS,MapReduce等)
- HDFS启动停止命令,yarn启动停止命令
- 官网自带WorldCount示例运行
- 进行管理界面管理NamenNode管理和ResourceManager管...
CentOS7中搭建nodejs10(VUE)开发环境踩坑指南
Centos7安装npm|nodejs的步骤
阿里的nodejs网站
https://npm.taobao.org/
安装一些必要的库
[root@master ~]# yum install gcc gcc-c++
[hadoop@master Downloads]$ pwd
/home/hadoop/Downloads
下载各个版本的,自己根据项目要求,使用对应的版本。