岑玉海
岑玉海_个人页
岑玉海
文章
64
问答
0
视频
0
个人介绍
暂无个人介绍
擅长的技术
-
发表了文章 2016-09-11
hbase源码系列（十五）终结篇&Scan续集-->如何查询出来下一个KeyValue
这是这个系列的最后一篇了，实在没精力写了，本来还想写一下hbck的，这个东西很常用，当hbase的Meta表出现错误的时候，它能够帮助我们进行修复，无奈看到3000多行的代码时，退却了，原谅我这点自私的想法吧。
-
发表了文章 2016-09-11
hbase源码系列（十四）Compact和Split
本文介绍hbase中的Compact和Split。
-
发表了文章 2016-09-11
hbase源码系列（十三）缓存机制MemStore与Block Cache
这一章讲hbase的缓存机制，这里面涉及的内容也是比较多，呵呵，我理解中的缓存是保存在内存中的特定的便于检索的数据结构就是缓存。
-
发表了文章 2016-09-11
hbase源码系列（十二）Get、Scan在服务端是如何处理？
继上一篇讲了Put和Delete之后，这一篇我们讲Get和Scan, 因为我发现这两个操作几乎是一样的过程，就像之前的Put和Delete一样，上一篇我本来只打算写Put的，结果发现Delete也可以走这个过程，所以就一起写了。
-
发表了文章 2016-09-11
hbase源码系列（十一）Put、Delete在服务端是如何处理？
在讲完之后HFile和HLog之后，今天我想分享是Put在Region Server经历些了什么？
-
发表了文章 2016-09-11
hbase源码系列（十）HLog与日志恢复
hbase在写入数据之前会先写入MemStore，成功了再写入HLog，当MemStore的数据丢失的时候，还可以用HLog的数据来进行恢复。本文将介绍“HLog与日志恢复”。
-
发表了文章 2016-09-11
hbase源码系列（九）StoreFile存储格式
从这一章开始要讲Region Server这块的了，但是在讲Region Server这块之前得讲一下StoreFile，否则后面的不好讲下去，这块是基础，Region Sever上面的操作，大部分都是基于它来进行的。
-
发表了文章 2016-09-11
hbase源码系列（八）从Snapshot恢复表
在看这一章之前，建议大家先去看一下snapshot的使用。这一章是上一章snapshot的续集，上一章了讲了怎么做snapshot的原理，这一章就怎么从snapshot恢复表。
-
发表了文章 2016-09-11
hbase源码系列（七）Snapshot的过程
本文讲解Snapshot的过程 ，在看这一章之前，建议大家先去看一下snapshot的使用。
-
发表了文章 2016-09-11
hbase源码系列（六）HMaster启动过程
这一章是server端开始的第一章，有兴趣的朋友先去看一下hbase的架构图，我专门从网上弄下来的。
-
发表了文章 2016-09-11
hbase源码带注释版本，放在这里，方便大家下载吧
看了5个月的hbase源码，记录了一些笔记，如果有需要的朋友可以拿去。
-
发表了文章 2016-09-11
hbase 学习（十六）系统架构图
这篇文章是我专门在网上弄下来的，算是hbase部分的终极篇吧，我的服务端的源码系列也要基于这个顺序来开展。
-
发表了文章 2016-09-11
hbase 学习（十四）Facebook针对hbase的优化方案分析
使用hbase的目的是为了海量数据的随机读写，但是在实际使用中却发现针对随机读的优化和gc是一个很大的问题，而且hbase的数据是存储在Hdfs，而Hdfs是面向流失数据访问进行设计的，就难免带来效率的下降。
-
发表了文章 2016-09-11
hbase源码系列（五）Trie单词查找树
在hbase当中单独拿了一个工程出来实现了Trie的数据结果，既达到了压缩编码的效果，亦达到了方便查询的效果，一举两得，设置的方法是在上一章的末尾提了。
-
发表了文章 2016-09-11
hbase 学习（十三）集群间备份原理
集群建备份，它是master/slaves结构式的备份，由master推送，这样更容易跟踪现在备份到哪里了，况且region server是都有自己的WAL 和HLog日志，它就像mysql的主从备份结构一样，只有一个日志来跟踪。一个master集群可以向多个slave集群推送，收到推送的集群会覆
-
发表了文章 2016-09-11
hbase源码系列（四）数据模型-表定义和列族定义的具体含义
hbase是一个KeyValue型的数据库，在《hbase实战》描述它的逻辑模型【行键，列族，列限定符，时间版本】，物理模型是基于列族的。但实际情况是啥？还是上点代码吧。
-
发表了文章 2016-09-11
hbase源码系列（三）Client如何找到正确的Region Server
Client如何找到正确的Region Server ？
-
发表了文章 2016-09-11
hbase源码系列（二）HTable 探秘
hbase的源码终于搞一个段落了，继上一篇讲了负载均衡之后，这一篇我们从client开始讲吧，从client到master再到region server，按照这个顺序来开展，读者们也可以对自己感兴趣的部分给我留言或者直接联系我。
-
发表了文章 2016-09-11
hbase源码系列（一）Balancer 负载均衡
看源码很久了，终于开始动手写博客了，为什么是先写负载均衡呢，因为一个室友入职新公司了，然后他们遇到这方面的问题，某些机器的硬盘使用明显比别的机器要多，每次用hadoop做完负载均衡，很快又变回来了。
-
发表了文章 2016-09-10
hbase 学习（十二）非mapreduce生成Hfile，然后导入hbase当中
最近一个群友的boss让研究hbase，让hbase的入库速度达到5w+/s，这可愁死了，4台个人电脑组成的集群，多线程入库调了好久，速度也才1w左右，于是想到“非mapreduce生成Hfile，然后导入hbase当中”。
-
发表了文章 2016-09-10
Distribute Cached 使用
在Kettle中说到Pentaho的MapReduce要用到它，就查了一下关于它的资料，以下是从官方查到的内容，记录一下。
-
发表了文章 2016-09-10
Kettle 添加对应hadoop版本的支持
经高人指点认识了一款叫做Kettle的软件，经过这两天的试用，从直观感受上，Kettle更容易使用和上手，资料更多，界面更友好。
-
发表了文章 2016-09-10
Hive Tunning 补充 关于bucket
在前面的几篇文章当中一直有一个概念bucketing不清楚到底是怎么回事。现在进行补充~
-
发表了文章 2016-09-10
hdfs平衡分布
这篇文章是从网上看到的，觉得很好就收藏了，但是最终不知道出处了。介绍hdfs平衡分布~
-
发表了文章 2016-09-09
Hbase 学习（十一）使用hive往hbase当中导入数据
我们可以有很多方式可以把数据导入到hbase当中，比如说用map-reduce，使用TableOutputFormat这个类，但是这种方式不是最优的方式。。。
-
发表了文章 2016-09-09
Hbase 学习（十） HBase Snapshots
HBase Snapshots允许你对一个表进行快照（即可用副本），它不会对Region Servers产生很大的影响，它进行复制和 恢复操作的时候不包括数据拷贝。下面告诉你如何使用Snapshots功能。
-
发表了文章 2016-09-09
sqoop 从sqlserver2008 导入数据到hadoop
今天终于开始上手导入数据到hadoop了，哈哈，过程蛮崎岖的，和官方文档的还不太一样。 OK,let's go！试验对象是我第一个名为ST_Statistics的一张表，我要把我表里的数据导入到hdfs、hive以及hbase当中，然后试验才算完成。
-
发表了文章 2016-09-09
sqoop 常见错误以及处理方式
sqoop 常见错误以及处理方式小结。
-
发表了文章 2016-09-09
sqoop 兼容性问题
本文简介sqoop 兼容性问题。
-
发表了文章 2016-09-09
sqoop 常用命令整理（二）
这些内容是从sqoop的官网整理出来的，是1.4.3版本的Document，如果有错误，希望大家指正。
-
发表了文章 2016-09-09
sqoop 常用命令整理（一）
这些内容是从sqoop的官网整理出来的，是1.4.3版本的Document，如果有错误，希望大家指正。
-
发表了文章 2016-09-09
oozie 重新提交作业
在oozie的运行过程当中可能会出现错误，比如数据库连接不上，或者作业执行报错导致流程进入suspend或者killed状态，这个时候我们就要分析了，如果确实是数据或者是网络有问题，我们比如把问题解决了才可以重新运行作业。
-
发表了文章 2016-09-09
Hbase 学习（八） 使用MapReduce&华为二级索引（原理）
本文分享链接“如何MapReduce来操作hbase”，同时，分析华为的二级索引方案（源码开放哟！）的原理。
-
发表了文章 2016-09-09
通过ambari安装hadoop集群（二）
本文图文结合简介如何通过ambari安装hadoop集群。
-
发表了文章 2016-09-08
通过ambari安装hadoop集群（一）
本文简单介绍如何通过ambari安装hadoop集群。
-
发表了文章 2016-09-08
ambari删除脚本
ambari删除脚本
-
发表了文章 2016-09-08
批量设置ssh无密码登陆脚本
最近要给集群设置ssh无密码登陆，如果需要手动设置这个无密码登陆，所以在网上找了几个脚本，亲测下面这个好使，并且设置比较简单。
-
发表了文章 2016-09-08
oozie java api提交作业
oozie java api提交作业
-
发表了文章 2016-09-08
oozie 客户端常用命令
oozie 客户端常用命令
-
发表了文章 2016-09-08
oozie 运行demo
昨晚装好了oozie，能启动了，并且配置了mysql作为数据库，好了，今天要执行oozie自带的demo了，好家伙，一执行就报错！报错很多，就不一一列举了，就说我最后解决的方法吧。
-
发表了文章 2016-09-08
oozie 安装过程详解
oozie 安装过程详解
-
发表了文章 2016-09-08
Hbase 学习（七） rowkey设计
一直以来对rowkey的设计都比较迷茫，《hbase权威指南》倒是给出了个还算靠谱的例子。
-
发表了文章 2016-09-08
Hbase 学习（六） 配置文件调优
这部分的内容，网上多了去了，都大同小异的，仅作为备忘录，方便大家查看。
-
发表了文章 2016-09-08
Hbase 学习（五） 调优
最近在狂啃hadoop的书籍，这部《hbase：权威指南》就进入我的视野里面了，啃吧，因为是英文的书籍，有些个人理解不对的地方，欢迎各位拍砖。
-
发表了文章 2016-09-08
Hive Tuning(五) 标准调优清单
Hive的标准调优清单，我们可以对照着来做我们的查询优化！
-
发表了文章 2016-09-08
Hive Tunning（三） 最佳实践
在上一讲的基础上，我们来做来一个实际的例子来展示如何在实操中进行高效的hive查询作业。
-
发表了文章 2016-09-08
Hbase 学习（四） hbase客户端设置缓存优化查询
最近在狂啃hadoop的书籍，这部《hbase：权威指南》就进入我的视野里面了，啃吧，因为是英文的书籍，有些个人理解不对的地方，欢迎各位拍砖。
-
发表了文章 2016-09-08
Hbase 学习（三）Coprocessors
最近在狂啃hadoop的书籍，这部《hbase：权威指南》就进入我的视野里面了，啃吧，因为是英文的书籍，有些个人理解不对的地方，欢迎各位拍砖。
-
发表了文章 2016-09-08
Hbase 学习（二）各种filter
最近在狂啃hadoop的书籍，这部《hbase：权威指南》就进入我的视野里面了，啃吧，因为是英文的书籍，有些个人理解不对的地方，欢迎各位拍砖。
-
发表了文章 2016-09-08
Hbase 学习(一) hbase配置文件同步
最近在狂啃hadoop的书籍，这部《hbase：权威指南》就进入我的视野里面了，啃吧，因为是英文的书籍，有些个人理解不对的地方，欢迎各位拍砖。
暂无更多信息
-
发表了文章
2016-09-11
hbase源码系列（十五）终结篇&Scan续集-->如何查询出来下一个KeyValue
-
发表了文章
2016-09-11
hbase源码系列（十四）Compact和Split
-
发表了文章
2016-09-11
hbase源码系列（十三）缓存机制MemStore与Block Cache
-
发表了文章
2016-09-11
hbase源码系列（十二）Get、Scan在服务端是如何处理？
-
发表了文章
2016-09-11
hbase源码系列（十一）Put、Delete在服务端是如何处理？
-
发表了文章
2016-09-11
hbase源码系列（十）HLog与日志恢复
-
发表了文章
2016-09-11
hbase源码系列（九）StoreFile存储格式
-
发表了文章
2016-09-11
hbase源码系列（八）从Snapshot恢复表
-
发表了文章
2016-09-11
hbase源码系列（七）Snapshot的过程
-
发表了文章
2016-09-11
hbase源码系列（六）HMaster启动过程
-
发表了文章
2016-09-11
hbase源码带注释版本，放在这里，方便大家下载吧
-
发表了文章
2016-09-11
hbase 学习（十六）系统架构图
-
发表了文章
2016-09-11
hbase 学习（十四）Facebook针对hbase的优化方案分析
-
发表了文章
2016-09-11
hbase源码系列（五）Trie单词查找树
-
发表了文章
2016-09-11
hbase 学习（十三）集群间备份原理
-
发表了文章
2016-09-11
hbase源码系列（四）数据模型-表定义和列族定义的具体含义
-
发表了文章
2016-09-11
hbase源码系列（三）Client如何找到正确的Region Server
-
发表了文章
2016-09-11
hbase源码系列（二）HTable 探秘
-
发表了文章
2016-09-11
hbase源码系列（一）Balancer 负载均衡
-
发表了文章
2016-09-10
hbase 学习（十二）非mapreduce生成Hfile，然后导入hbase当中
滑动查看更多
暂无更多信息
暂无更多信息