柏辰爸爸
柏辰爸爸_个人页
柏辰爸爸
文章
165
问答
0
视频
0
个人介绍
专注于HDFS、HBase、Yarn、Spark、Kafka等领域研发
擅长的技术
-
发表了文章 2016-12-19
Hhadoop-2.7.0中HDFS写文件源码分析（二）：客户端实现（1）
一、综述 HDFS写文件是整个Hadoop中最为复杂的流程之一，它涉及到HDFS中NameNode、DataNode、DFSClient等众多角色的分工与合作。 首先上一段代码，客户端是如何写文件的： Configuration conf = new Configuration(); FileSystem fs = FileSystem.
-
发表了文章 2016-12-14
Hadoop-2.7.0中HDFS NameNode HA实现之DFSZKFailoverController、ZKFailoverController（一）
一、简介 DFSZKFailoverController是Hadoop-2.7.0中HDFS NameNode HA实现的中心组件，它负责整体的故障转移控制等。它是一个守护进程，通过main()方法启动，继承自ZKFailoverController。
-
发表了文章 2016-12-14
Hadoop-2.7.0中HDFS NameNode HA实现综述
一、原理 HDFS中NameNode等的HA是基于ZooKeeper实现的。它应用了ZooKeeper集群的如下功能或特性： 1、只要半数以上节点还存活，就继续能对外提供服务； 2、ZooKeeper通过Paxos算法提供了leader选举功能，其它follo...
-
发表了文章 2016-12-11
Hadoop-2.7.0 HA实现细节分析之HealthMonitor
一、HealthMonitor是什么 HealthMonitor是一个周期性工作的后台线程，它在一个循环中周期性的同HA服务进行心跳，负责跟踪NameNode服务的健康状况，并在健康状况变化时调用failover控制器的回调方法。
-
发表了文章 2016-12-10
Java源码分析之CountDownLatch
一、CountDownLatch介绍 CountDownLatch是一种同步手段，允许一个或者更多的线程等待，直到在其他线程正在执行的一组操作完成。给定count数目后CountDownLatch被初始化。
-
发表了文章 2016-12-09
Java设计模式之单例模式
一、懒汉模式 package com.pengli.designmode.singleton; public class Singleton1 { // 私有静态变量 // 需要 用volatile修饰 private static volatile Singleton1 singl...
-
发表了文章 2016-12-09
冒泡排序之Java实现
一、冒泡排序算法 1、 比较相邻的元素。如果第一个比第二个大，就交换他们两个。 2、对每一对相邻元素作同样的工作，从开始第一对到结尾的最后一对。在这一点，最后的元素应该会是最大的数。
-
发表了文章 2016-12-07
Hadoop-2.7.0 HDFS DataXceiverServer两个参数的疑问
1、TcpPeerServer的数据接收缓冲区大小 Hadoop-2.7.0的DataXceiverServer中，在DataNode中对其初始化时，会构造一个TcpPeerServer，并设置数据接收缓冲区大小如下： tcpPeerServer.
-
发表了文章 2016-12-02
HBase-1.2.4LruBlockCache实现分析（二）
本文介绍LruBlockCache如何获取缓存数据。 缓存数据的获取是在方法getBlock()中实现的，代码如下： /** * Get the buffer of the block with the specified name.
-
发表了文章 2016-12-01
HBase-1.2.4 CombinedBlockCache和InclusiveCombinedBlockCache
一、综述 在《HBase-1.2.4 Allow block cache to be external分析》一文的最后，讲解了如何实例化外部缓存MemcachedBlockCache。
-
发表了文章 2016-12-01
HBase-1.2.4 Allow block cache to be external分析
一、简介 从HBase-1.1.0起，HBase可以使用memcached作为外部BlockCache，这是一个在设备失效或者升级时不会发生完全的冷缓存的很好的特性。用句通俗的话讲，就是HBase出现故障或者升级时，缓存轻易不会丢失。
-
发表了文章 2016-12-01
HBase-1.2.4LruBlockCache实现分析（一）
一、简介 BlockCache是HBase中的一个重要特性，相比于写数据时缓存为Memstore，读数据时的缓存则为BlockCache。 LruBlockCache是HBase中BlockCache的默认实现，它采用严格的LRU算法来淘汰Block。
-
发表了文章 2016-12-01
HDFS Archival Storage
一、是什么 随着数据的日益增长，很多数据由热变冷，已经不再或者很少使用，而数据的存储需求越来越大，计算需求则相应增长不大。如何解耦这种急剧增长的存储需求和计算需求？HDFS Archival Storage正好能派上用场。
-
发表了文章 2016-11-29
Hadoop-2.6.0 DFSClient Hedged Read实现分析
一、简介 DFSClient Hedged Read是Hadoop-2.4.0引入的一个新特性，如果读取一个数据块的操作比较慢，DFSClient Hedged Read将会开启一个从另一个副本的hedged读操作。
-
发表了文章 2016-11-29
《Redis设计与实现》阅读：Redis底层研究之哈希表hashtable
字典是一种存储键值对的抽象数据结构，其又被称为符号表（symbol table）、关联数组（associative array）或映射（map）。Redis使用字典存储键值对，而Redis在底层是通过自定义的哈希表来实现字典这一数据结构的。
-
发表了文章 2016-11-29
Hadoop-2.6.0NodeManager Restart Recover实现分析（二）
继上篇《Hadoop-2.6.0NodeManager Restart Recover实现分析（二）》。 4、NMLeveldbStateStoreService实现分析 在 1）、initStorage() initStorage(...
-
发表了文章 2016-11-29
Hadoop-2.6.0NodeManager Restart Recover实现分析（一）
一、简介 This document gives an overview of NodeManager (NM) restart, a feature that enables the NodeManager to be restarted without losing the active containers running on the node.
-
发表了文章 2016-11-28
NM Restart Design Overview
This document describes the design of the NodeManager restart work under YARN1336 and its subJIRAs.
-
发表了文章 2016-11-28
Hadoop-2.6.0 CPU CGroup实现分析
一、概述 Hadoop-2.6.0中对CPU CGroups的实现，主要是通过CgroupsLCEResourcesHandler来实现的，通过它的int*()系列方法初始化一些参数和环境，比如CGroups的路径等，然后在启动容器内的可执行文 件前由LinuxContainerExecutor调用preExecute()方法，进行setupLimits()即设置限额操作，而在容器内的可执行退出后（无论成功还是失败）由LinuxContainerExecutor调用postExecute()方法，进行 clearLimits()即清除限额操作。
-
发表了文章 2016-09-30
HDFS读取文件失败Incorrect value for packet payload size
一、现象 Hadoop-2.7.2中，使用hadoop shell命令行读取文件内容时，针对大文件，会有如下报错，小文件则不会。 hadoop fs -cat /tmp/hue_database_dump4.
-
发表了文章 2016-09-28
container-executor.cfg文件及其各级父路径问题解决方案
一、背景 为了增加Hadoop CGroup来限制部分作业对CPU的占用，近日在搭建Hadoop-2.6.0的CGroup过程中，碰到了以下一个问题，提示如下（注：500为用户hadoop的id号）： File /opt/hadoop/hadoop-2.
-
发表了文章 2016-09-09
Apache Hadoop 3.0.0-alpha1主要改进
1、Minimum required Java version increased from Java 7 to Java 8 所有的Hadoop JARs针对运行时版本的Java 8被编译。仍在使用Java 7或更低版本的用户必须升级至Java 8。
-
发表了文章 2016-08-09
Java并发之Semaphore详解
一、入题 Semaphore是一种基于计数的信号量。它可以设定一个阈值，基于此，多个线程竞争获取许可信号，做完自己的申请后归还，超过阈值后，线程申请许可信号将会被阻塞。
-
发表了文章 2016-08-08
Java并发之ReentrantLock详解
一、入题 ReentrantLock是Java并发包中互斥锁，它有公平锁和非公平锁两种实现方式，以lock()为例，其使用方式为： ReentrantLock takeLock = new ReentrantLock(); // 获取锁 takeLock.
-
发表了文章 2016-08-03
Live long and process (#LLAP) 翻译
Live long and process (#LLAP) sershe, sseth, hagleitn, 2014-08-27. Overview综述 Hive has become significantly faster thanks to various features and...
-
发表了文章 2016-07-23
Yarn中ResourceManager相关三大RPC协议
ResourceManager是Hadoop资源管理器Yarn的Master，负责资源的统一管理和调度。它与Yarn中另外三个组件协同工作，共同完成应用程序在Yarn上的资源管理与调度。
-
发表了文章 2016-05-14
《Redis设计与实现》阅读：Redis底层研究之简单动态字符串SDS
除仅用于字符串字面量的情况外，对于可以被修改值的字符串的表示，Redis底层并没有采用C语言传统的字符串表示，即以空字符结尾的字符数组，而是采用专门为其设计的简单动态字符串作为其默认字符串表示，其英文全称为Simple Dynamic String，简称SDS。
-
发表了文章 2016-05-07
MapReduce源码分析之Task中关于对应TaskAttempt存储Map方案的一些思考
我们知道，MapReduce有三层调度模型，即Job——>Task——>TaskAttempt，并且： 1、通常一个Job存在多个Task，这些Task总共有Map Task和Redcue Task两种大的类型（为简化描述，Map-Only作业、JobSetup Task等复杂的情况这里不做考虑）； 2、每个Task可以尝试运行1-n此，而且通常很多情况下都是1次，只有当开启了推测执行原理且存在拖后腿Task，或者Task之前执行失败时，Task才执行多次。
-
发表了文章 2016-05-06
Yarn源码分析之MapReduce作业中任务Task调度整体流程（一）
v2版本的MapReduce作业中，作业JOB_SETUP_COMPLETED事件的发生，即作业SETUP阶段完成事件，会触发作业由SETUP状态转换到RUNNING状态，而作业状态转换中涉及作业信息的处理，是由SetupCompletedTransition来完成的，它主要做了...
-
发表了文章 2016-05-05
MapReduce源码分析之作业Job状态机解析（一）简介与正常流程浅析
作业Job状态机维护了MapReduce作业的整个生命周期，即从提交到运行结束的整个过程。Job状态机被封装在JobImpl中，其主要包括14种状态和19种导致状态发生的事件。 作业Job的全部状态维护在类JobStateInternal中，如下所示： publ...
-
发表了文章 2016-05-03
Yarn源码分析之如何确定作业运行方式Uber or Non-Uber？
在MRAppMaster中，当MapReduce作业初始化时，它会通过作业状态机JobImpl中InitTransition的transition()方法，进行MapReduce作业初始化相关操作，而这其中就包括： 1、调用createSplits()方法，创建分...
-
发表了文章 2016-05-01
Yarn源码分析之MRAppMaster上MapReduce作业处理总流程（二）
本文继《Yarn源码分析之MRAppMaster上MapReduce作业处理总流程（一）》，接着讲述MapReduce作业在MRAppMaster上处理总流程，继上篇讲到作业初始化之后的作业启动，关于作业初始化主体流程的详细介绍，请参见《Yarn源码分析之MRAppMaster上MapReduce作业初始化解析》一文。
-
发表了文章 2016-05-01
Yarn源码分析之MRAppMaster上MapReduce作业处理总流程（一）
我们知道，如果想要在Yarn上运行MapReduce作业，仅需实现一个ApplicationMaster组件即可，而MRAppMaster正是MapReduce在Yarn上ApplicationMaster的实现，由其控制MR作业在Yarn上的执行。
-
发表了文章 2016-04-30
Yarn源码分析之参数mapreduce.job.reduce.slowstart.completedmaps介绍
mapreduce.job.reduce.slowstart.completedmaps是MapReduce编程模型中的一个参数，这个参数的含义是，当Map Task完成的比例达到该值后才会为Reduce Task申请资源，默认是0.
-
发表了文章 2016-04-30
Yarn源码分析之MRAppMaster：作业运行方式Local、Uber、Non-Uber
基于作业大小因素，MRAppMaster提供了三种作业运行方式：本地Local模式、Uber模式、Non-Uber模式。其中， 1、本地Local模式：通常用于调试； 2、Uber模式：为降低小作业延迟而设计的一种模式，所有任务，不管是Map Ta...
-
发表了文章 2016-04-29
HDFS源码分析之FSImage文件内容（一）总体格式
FSImage文件是HDFS中名字节点NameNode上文件/目录元数据在特定某一时刻的持久化存储文件。它的作用不言而喻，在HA出现之前，NameNode因为各种原因宕机后，若要恢复或在其他机器上重启NameNode，重新组织元数据，就需要加载对应的FSImage文件、FSEditLog文件，并在内存中重做FSEditLog文件中的事务条目。
-
发表了文章 2016-04-27
HDFS源码分析数据块校验之DataBlockScanner
DataBlockScanner是运行在数据节点DataNode上的一个后台线程。它为所有的块池管理块扫描。针对每个块池，一个BlockPoolSliceScanner对象将会被创建，其运行在一个单独的线程中，为该块池扫描、校验数据块。
-
发表了文章 2016-04-25
ThreadPoolExecutor源码分析（二）：任务提交主逻辑execute()
继上篇《ThreadPoolExecutor源码分析（一）：重要成员变量》续... 作为一个执行服务ExecutorService的实例，ThreadPoolExecutor的首要任务当然是提交任务进行处理，那么，在任务提交时，ThreadPoolExecutor的处理流程是怎样的？它是一味的开启线程进行处理，还是有一套完整的逻辑来处理呢？本文，我们将继续分析ThreadPoolExecutor，看下它在任务提交时的主逻辑。
-
发表了文章 2016-04-25
Yarn源码分析之事件异步分发器AsyncDispatcher
AsyncDispatcher是Yarn中事件异步分发器，它是ResourceManager中的一个基于阻塞队列的分发或者调度事件的组件，其在一个特定的单线程中分派事件，交给AsyncDispatcher中之前注册的针对该事件所属事件类型的事件处理器EventHandler来处理。
-
发表了文章 2016-04-22
MapReduce源码分析之JobSubmitter（一）
JobSubmitter，顾名思义，它是MapReduce中作业提交者，而实际上JobSubmitter除了构造方法外，对外提供的唯一一个非private成员变量或方法就是submitJobInternal()方法，它是提交Job的内部方法，实现了提交Job的所有业务逻辑。
-
发表了文章 2016-04-22
MapReduce源码分析之新API作业提交（二）：连接集群
MapReduce作业提交时连接集群是通过Job的connect()方法实现的，它实际上是构造集群Cluster实例cluster，代码如下： private synchronized void connect() throws IOExcep...
-
发表了文章 2016-04-21
Hadoop Common源码分析之服务Service
Service是定义Hadoop中服务生命周期的一个接口。Service内部定义了服务的状态及生命周期，在服务被构造后，其一个生命周期内的状态为NOTINITED未初始化--INITED已初始化--已启动STARTED--已停止STOPPED，而这一生命周期内服务状态的变化，...
-
发表了文章 2016-04-21
MapReduce源码分析之JobSplitWriter
JobSplitWriter被作业客户端用于写分片相关文件，包括分片数据文件job.split和分片元数据信息文件job.splitmetainfo。它有两个静态成员变量，如下： // 分片版本，当前默认为1 private static final int splitVersion = JobSplit.
-
发表了文章 2016-04-20
Hadoop Common源码分析之SerializationFactory、Serialization
SerializationFactory是Hadoop中的一个序列化器工厂，它除了用来存储序列化器种类、更新序列化器相关配置信息，还提供了根据指定待序列化类获取相匹配的序列化器和反序列化器的功能。
-
发表了文章 2016-04-20
MapReduce源码分析之LocatedFileStatusFetcher
LocatedFileStatusFetcher是MapReduce中一个针对给定输入路径数组，使用配置的线程数目来获取数据块位置的实用类。它的主要作用就是利用多线程技术，每个线程对应一个任务，每个任务针对给定输入路径数组Path[]，解析出文件状态列表队列BlockingQueue。
-
发表了文章 2016-04-19
Hadoop2.6.0版本MapReudce示例之WordCount（二）
继《Hadoop2.6.0版本MapReudce示例之WordCount（一）》之后，我们继续看MapReduce的WordCount示例，看看如何监控作业运行或查看历史记录，以及作业运行时的文件目录及列表。
-
发表了文章 2016-04-19
MapReduce源码分析之InputFormat
InputFormat描述了一个Map-Reduce作业中的输入规范。Map-Reduce框架依靠作业的InputFormat实现以下内容： 1、校验作业的输入规范； 2、分割输入文件（可能为多个），生成逻辑输入分片InputSplit（往往为多个），每个输入分片InputSplit接着被分配给单独的Mapper； 3、提供记录读取器RecordReader的实现，RecordReader被用于从逻辑输入分片InputSplit收集输入记录，这些输入记录会被交由Mapper处理。
-
发表了文章 2016-04-18
MapReudce源码分析之Mapper
Mapper是MapReduce编程模型中一个将输入的key/value对映射成一组中间key/value对的组件。Map是将输入记录转换成中间记录的单个任务。被转换的中间记录不需要与输入记录一样的类型。
-
发表了文章 2016-04-18
Hadoop2.6.0版本MapReudce示例之WordCount（一）
一、准备测试数据 1、在本地Linux系统/var/lib/hadoop-hdfs/file/路径下准备两个文件file1.txt和file2.txt，文件列表及各自内容如下图所示： 2、在hdfs中，准备/input路径，并上传两个文件file1.
-
发表了文章 2016-04-17
HDFS源码分析数据块复制选取复制源节点
数据块的复制当然需要一个源数据节点，从其上拷贝数据块至目标数据节点。那么数据块复制是如何选取复制源节点的呢？本文我们将针对这一问题进行研究。 在BlockManager中，chooseSourceDatanode()方法就是用来选取数据块复制时的源节点的，它负责解析数据块所属数据节点列表，并选择一个，用它作为数据块的复制源。
暂无更多信息
-
发表了文章
2016-12-19
Hhadoop-2.7.0中HDFS写文件源码分析（二）：客户端实现（1）
-
发表了文章
2016-12-14
Hadoop-2.7.0中HDFS NameNode HA实现之DFSZKFailoverController、ZKFailoverController（一）
-
发表了文章
2016-12-14
Hadoop-2.7.0中HDFS NameNode HA实现综述
-
发表了文章
2016-12-11
Hadoop-2.7.0 HA实现细节分析之HealthMonitor
-
发表了文章
2016-12-10
Java源码分析之CountDownLatch
-
发表了文章
2016-12-09
Java设计模式之单例模式
-
发表了文章
2016-12-09
冒泡排序之Java实现
-
发表了文章
2016-12-07
Hadoop-2.7.0 HDFS DataXceiverServer两个参数的疑问
-
发表了文章
2016-12-02
HBase-1.2.4LruBlockCache实现分析（二）
-
发表了文章
2016-12-01
HBase-1.2.4 CombinedBlockCache和InclusiveCombinedBlockCache
-
发表了文章
2016-12-01
HBase-1.2.4 Allow block cache to be external分析
-
发表了文章
2016-12-01
HBase-1.2.4LruBlockCache实现分析（一）
-
发表了文章
2016-12-01
HDFS Archival Storage
-
发表了文章
2016-11-29
Hadoop-2.6.0 DFSClient Hedged Read实现分析
-
发表了文章
2016-11-29
《Redis设计与实现》阅读：Redis底层研究之哈希表hashtable
-
发表了文章
2016-11-29
Hadoop-2.6.0NodeManager Restart Recover实现分析（二）
-
发表了文章
2016-11-29
Hadoop-2.6.0NodeManager Restart Recover实现分析（一）
-
发表了文章
2016-11-28
NM Restart Design Overview
-
发表了文章
2016-11-28
Hadoop-2.6.0 CPU CGroup实现分析
-
发表了文章
2016-09-30
HDFS读取文件失败Incorrect value for packet payload size
滑动查看更多
暂无更多信息
暂无更多信息