开发者学堂课程【HBase 入门教程:HBase MapReduce_4】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/397/detail/5099
HBase MapReduce_4
一、回顾总结
1. Protobuf:
value 比较小,value 列多,每个列对应的值比较小,有大部分的存储空间来存储 rokey 这些信息,使用 protobuf 将列封装起来,从而减少存储空间。
2. 安装:
Protobuf 源码安装步骤:
(1)预编译(安装环境的检查)
(2)编译 make(将源码编译为执行文件)
(3)安装 make install
依赖包:yum 处理依赖关系,出问题的原因没有处理好本地源和局域网源和 web 阿里的源,web 版本的源版本比较高,本地源的版本比较低,依赖关系出现问题,不兼容报错,处理 cdh 以外都可以用阿里的源。
3.预分区:
创建表的时候,首先要对数据非常清楚,才能将预分区的规则定义好。
4.列簇
不要超过两到三个。
5.合并
小规模合并一般不需要控制,
6.Major
一定要进行控制,可以通过命令,自己来写代码。
7.缓存
写\读,具体缓存的大小,根据服务器来决定。
8.MapReduce HBase
进行整合,对 HBase 进行读写操作,可以通过 MapReduce 来完成。
创建资源之后,对资源进行释放,取得连接的时候,一些对于属性的设置。