柏辰爸爸
柏辰爸爸_个人页
柏辰爸爸
文章
165
问答
0
视频
0
个人介绍
专注于HDFS、HBase、Yarn、Spark、Kafka等领域研发
擅长的技术
-
发表了文章 2016-02-28
Java多线程之ReentrantReadWriteLock
一、锁的种类和含义 Java的concurrent并发包中，存在两种类型的锁，即共享锁和排它锁，后者也叫做独占锁。 共享锁是指某一时刻锁可以被多个线程同时拥有，这些线程同时共享该锁。
-
发表了文章 2016-02-28
java并发包concurrent翻译及源码分析之：ReadWriteLock
/* * ORACLE PROPRIETARY/CONFIDENTIAL. Use is subject to license terms. * * * * * * * * * * * * * * * * * * * * */ /* * * ...
-
发表了文章 2016-02-25
HBase源码分析之HRegion上MemStore的flsuh流程（二）
继上篇《HBase源码分析之HRegion上MemStore的flsuh流程（一）》之后，我们继续分析下HRegion上MemStore flush的核心方法internalFlushcache()，它的主要流程如图所示： 其中，internalFlushcache()方法的代码如下： /** * Flush the memstore.
-
发表了文章 2016-02-25
HBase源码分析之HRegion上MemStore的flsuh流程（一）
了解HBase架构的用户应该知道，HBase是一种基于LSM模型的分布式数据库。LSM的全称是Log-Structured Merge-Trees，即日志-结构化合并-树。相比于Oracle普通索引所采用的B+树，LSM模型的最大特点就是，在读写之间采取一种平衡，牺牲部分读数据的性能，来大幅度的提升写数据的性能。
-
发表了文章 2016-02-22
Spark源码分析之六：Task调度（二）
话说在《Spark源码分析之五：Task调度（一）》一文中，我们对Task调度分析到了DriverEndpoint的makeOffers()方法。这个方法针对接收到的ReviveOffers事件进行处理。
-
发表了文章 2016-02-20
HMaster分析之Region的负载均衡实现（一）
HBase中Region是表按行方向切分的一个个数据区域，由RegionServer负责管理，并向外提供数据读写服务。如果一个RegionServer上的Region过多，那么该RegionServer对应的就会承担过多的读写等服务请求，也就有可能在高并发访问的情况下，造成服务器性能下降甚至宕机。
-
发表了文章 2016-02-20
HBase行锁原理及实现
请带着如下问题阅读本文。 1、什么是行锁？ 2、HBase行锁的原理是什么？ 3、HBase行锁是如何实现的？ 4、HBase行锁是如何应用的？ 一、什么是行锁？ 我们知道，数据库中存在事务的概念。
-
发表了文章 2016-02-19
Spark源码分析之五：Task调度（一）
在前四篇博文中，我们分析了Job提交运行总流程的第一阶段Stage划分与提交，它又被细化为三个分阶段： 1、Job的调度模型与运行反馈； 2、Stage划分； 3、Stage提交：对应TaskSet的生成。
-
发表了文章 2016-02-17
Spark源码分析之四：Stage提交
各位看官，上一篇《Spark源码分析之Stage划分》详细讲述了Spark中Stage的划分，下面，我们进入第三个阶段--Stage提交。 Stage提交阶段的主要目的就一个，就是将每个Stage生成一组Task，即TaskSet，其处理流程如下图所示： 与Stage划分阶段一样，我们还是从handleJobSubmitted()方法入手，在Stage划分阶段，包括最好的ResultStage和前面的若干ShuffleMapStage均已生成，那么顺理成章的下一步便是Stage的提交。
-
发表了文章 2016-02-16
Spark源码分析之三：Stage划分
继上篇《Spark源码分析之Job的调度模型与运行反馈》之后，我们继续来看第二阶段--Stage划分。 Stage划分的大体流程如下图所示： 前面提到，对于JobSubmitted事件，我们通过调用DAGScheduler的handleJobSubmitted()方法来处理。
-
发表了文章 2016-02-16
Spark源码分析之二：Job的调度模型与运行反馈
在《Spark源码分析之Job提交运行总流程概述》一文中，我们提到了，Job提交与运行的第一阶段Stage划分与提交，可以分为三个阶段： 1、Job的调度模型与运行反馈； 2、Stage划分； 3、Stage提交：对应TaskSet的生成。
-
发表了文章 2016-02-14
Spark源码分析之一：Job提交运行总流程概述
Spark是一个基于内存的分布式计算框架，运行在其上的应用程序，按照Action被划分为一个个Job，而Job提交运行的总流程，大致分为两个阶段： 1、Stage划分与提交 （1）Job按照RDD之间的依赖关系是否为宽依赖，由DAGSche...
-
发表了文章 2016-01-12
HBase的scan源码分析客户端部分之整体流程（一）
scan的调用代码示例如下： // 创建HBase配置config Configuration config = HBaseConfiguration.create(); config.
-
发表了文章 2016-01-05
写在HBase源码分析前面的话
本版块全部为HBase1.0.2相关源码分析文章，系个人研究源码原创写成，除对部分引用标示外，其余均为原创，或翻译源码注释。 该系列文章为与网友交流HBase学习，不做任何其他商业用途~~O(∩_∩)O哈哈~ 由于水平有限，文章基本上是边读源码，边翻译注释，边分析源码写成，没有较强的前后逻辑性，我会在写完全部文章后再回头整理。
-
发表了文章 2016-01-05
HBase的Nonce实现分析
一、问题背景 当客户端发送RPC请求给服务端时，基于各种原因，服务器的响应很可能会超时。如果客户端只是在那等待，针对数据的操作，很可能出现服务器端已处理完毕，但是无法通知客户端，此时，客户端只能重新发起请求，可是又可能造成服务端重复处理请求。
暂无更多信息
-
发表了文章
2016-12-19
Hhadoop-2.7.0中HDFS写文件源码分析（二）：客户端实现（1）
-
发表了文章
2016-12-14
Hadoop-2.7.0中HDFS NameNode HA实现之DFSZKFailoverController、ZKFailoverController（一）
-
发表了文章
2016-12-14
Hadoop-2.7.0中HDFS NameNode HA实现综述
-
发表了文章
2016-12-11
Hadoop-2.7.0 HA实现细节分析之HealthMonitor
-
发表了文章
2016-12-10
Java源码分析之CountDownLatch
-
发表了文章
2016-12-09
Java设计模式之单例模式
-
发表了文章
2016-12-09
冒泡排序之Java实现
-
发表了文章
2016-12-07
Hadoop-2.7.0 HDFS DataXceiverServer两个参数的疑问
-
发表了文章
2016-12-02
HBase-1.2.4LruBlockCache实现分析（二）
-
发表了文章
2016-12-01
HBase-1.2.4 CombinedBlockCache和InclusiveCombinedBlockCache
-
发表了文章
2016-12-01
HBase-1.2.4 Allow block cache to be external分析
-
发表了文章
2016-12-01
HBase-1.2.4LruBlockCache实现分析（一）
-
发表了文章
2016-12-01
HDFS Archival Storage
-
发表了文章
2016-11-29
Hadoop-2.6.0 DFSClient Hedged Read实现分析
-
发表了文章
2016-11-29
《Redis设计与实现》阅读：Redis底层研究之哈希表hashtable
-
发表了文章
2016-11-29
Hadoop-2.6.0NodeManager Restart Recover实现分析（二）
-
发表了文章
2016-11-29
Hadoop-2.6.0NodeManager Restart Recover实现分析（一）
-
发表了文章
2016-11-28
NM Restart Design Overview
-
发表了文章
2016-11-28
Hadoop-2.6.0 CPU CGroup实现分析
-
发表了文章
2016-09-30
HDFS读取文件失败Incorrect value for packet payload size
滑动查看更多
暂无更多信息
暂无更多信息