YARN和MapReduce的内存设置参考
如何确定Yarn中容器Container,Mapreduce相关参数的内存设置,对于初始集群,由于不知道集群的类型(如cpu密集、内存密集)我们需要根据经验提供给我们一个参考配置值,来作为基础的配置。
HBase Thrift2 CPU过高问题分析
HBase Thrift2 CPU过高问题分析.pdf
目录
目录 1
1. 现象描述 1
2. 问题定位 2
3. 解决方案 5
4. 相关代码 5
1. 现象描述
外界连接9090端口均超时,但telnet端口总是成功。
hbase region split源码分析
hbase region split :
split执行调用流程:
1.HbaseAdmin发起split:###
2.RSRpcServices实现类执行split(Implements the regionserver RPC services.)###
3.CompactSplitThread类与SplitRequest类用来执行region切割:###
4.splitRequest执行doSplitting操作###
4.1初始化两个子region###
4.2执行切割####
4.2.1:(创建子region。
Hadoop的加速发动机Impala
应用场景
在使用Hive的过程中,编写了HQL语句,发现HQL执行过程是非常慢的,因为hive采用的是把HQL转化成hadoop的MapReduce任务,然后编译,打包成jar包,分发到各个server上去执行,这个过程会很慢很慢!而impala也可以执行SQL,但是比Hive快很多,而Impala根本不用Hadoop的Mapreduce机制,直接调用HDFS的API获取文件,在内存中快速计算!
但是Impala也并不是完全比Hive好。