Hadoop

首页 标签 Hadoop
# Hadoop #
关注
11265内容
都是default惹的祸-yarn调度(一)-fair调度器drf调度策略作业不执行问题的调查和源码分析
问题背景 yarn的fair类型资源池,是企业级hadoop用户常用的资源池类型。该资源池默认的队列调度策略是fair,即分配资源时只考虑内存限制。 对一个多个团队混合使用的大集群来说,如果想要在分配资源时同时考虑内存和cpu限制,需要指定调度策略为drf。
CentOS7中搭建nodejs10(VUE)开发环境踩坑指南
Centos7安装npm|nodejs的步骤 阿里的nodejs网站 https://npm.taobao.org/ 安装一些必要的库 [root@master ~]# yum install gcc gcc-c++ [hadoop@master Downloads]$ pwd /home/hadoop/Downloads 下载各个版本的,自己根据项目要求,使用对应的版本。
【Hadoop Summit Tokyo 2016】云上SQL-on-Hadoop的状态
本讲义出自Nicolas Poggi在Hadoop Summit Tokyo 2016上的演讲,在演讲中首先介绍了BSC 与ALOJA以及PaaS服务概览,之后介绍了SQL基准以及PaaS服务的演进变化,最后分享了从云上的SQL-on-Hadoop中获取的经验。
jar包冲突解决的一些经验
开篇  最近因为一些原因遇到了一些jar包冲突的实际问题,包括tomcat无法加载某lib包,hadoop上mr任务依赖lib版本问题,tomcat依赖包找不到等等。  这些问题归结起来能够很好的检验几个关键问题:1、双亲委派原则的理解;2、maven依赖传递的原则;3、java classpath路径先后顺序问题。
datenode节点超时时间设置,Hadoop启动不正常,HDFS冗余数据块的自动删除,NameNode安全模式问题,ntp时间服务同步,机架感知配置
1.Hadoop datanode节点超时时间设置 datanode进程死亡或者网络故障造成datanode无法与namenode通信,namenode不会立即把该节点判定为死亡,要经过一段时间,这段时间暂称作超时时长。HDFS默认的超时时长为10分钟+30秒。如果定义超时时间为timeout,则超时时长的计算公式为:          timeout  = 2 * heartbeat.rec
hbase 学习(十六)系统架构图
这篇文章是我专门在网上弄下来的,算是hbase部分的终极篇吧,我的服务端的源码系列也要基于这个顺序来开展。
免费试用