HBase MapReduce_4 | 学习笔记

简介: 快速学习 HBase MapReduce_4

开发者学堂课程【HBase 入门教程HBase MapReduce_4】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/397/detail/5099


HBase MapReduce_4


一、回顾总结

1. Protobuf:

value 比较小,value 列多,每个列对应的值比较小,有大部分的存储空间来存储 rokey 这些信息,使用 protobuf 将列封装起来,从而减少存储空间。

2. 安装:  

Protobuf 源码安装步骤:

(1)预编译(安装环境的检查)

(2)编译 make(将源码编译为执行文件)

(3)安装 make install

依赖包:yum 处理依赖关系,出问题的原因没有处理好本地源和局域网源和 web 阿里的源,web 版本的源版本比较高,本地源的版本比较低,依赖关系出现问题,不兼容报错,处理 cdh 以外都可以用阿里的源。

3.预分区:

创建表的时候,首先要对数据非常清楚,才能将预分区的规则定义好。

4.列簇

不要超过两到三个。

5.合并  

小规模合并一般不需要控制,

6.Major

一定要进行控制,可以通过命令,自己来写代码。

7.缓存  

\读,具体缓存的大小,根据服务器来决定。

8.MapReduce HBase

进行整合,对 HBase 进行读写操作,可以通过 MapReduce 来完成。

创建资源之后,对资源进行释放,取得连接的时候,一些对于属性的设置。

相关实践学习
云数据库HBase版使用教程
  相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情: https://cn.aliyun.com/product/hbase   ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
存储 SQL 自然语言处理
基于 HBase 的海量数据查询与检索解析|学习笔记
快速学习基于 HBase 的海量数据查询与检索解析
846 0
基于 HBase 的海量数据查询与检索解析|学习笔记
|
5月前
|
SQL 分布式计算 Hadoop
Hadoop学习笔记(HDP)-Part.16 安装HBase
01 关于HDP 02 核心组件原理 03 资源规划 04 基础环境配置 05 Yum源配置 06 安装OracleJDK 07 安装MySQL 08 部署Ambari集群 09 安装OpenLDAP 10 创建集群 11 安装Kerberos 12 安装HDFS 13 安装Ranger 14 安装YARN+MR 15 安装HIVE 16 安装HBase 17 安装Spark2 18 安装Flink 19 安装Kafka 20 安装Flume
83 1
Hadoop学习笔记(HDP)-Part.16 安装HBase
|
6月前
|
分布式计算 分布式数据库 Hbase
99 MapReduce操作Hbase
99 MapReduce操作Hbase
43 0
|
存储 前端开发 Cloud Native
基于 HBase 快速构架海量订单存储系统|学习笔记
快速学习基于 HBase 快速构架海量订单存储系统
346 0
基于 HBase 快速构架海量订单存储系统|学习笔记
|
SQL 存储 边缘计算
HBase&Hive 2(三)|学习笔记
快速学习 HBase&Hive 2(三)
107 0
HBase&Hive 2(三)|学习笔记
|
SQL 存储 分布式计算
HBase&Hive 2(二)|学习笔记
快速学习 HBase&Hive 2(二)
77 0
HBase&Hive 2(二)|学习笔记
|
存储 SQL 分布式计算
HBase&Hive 2(一)|学习笔记
快速学习 HBase&Hive 2(一)
96 0
HBase&Hive 2(一)|学习笔记
|
存储 SQL 缓存
HBase&HIve 1|学习笔记
快速学习 HBase&HIve 1
145 0
HBase&HIve 1|学习笔记
|
SQL 消息中间件 存储
基于 HBase 的大数据在线分析|学习笔记
快速学习基于 HBase 的大数据在线分析
343 0
基于 HBase 的大数据在线分析|学习笔记
|
存储 搜索推荐 Java
如何基于 HBase 构建图片、视频数据的统一存储检索方案|学习笔记
快速学习如何基于 HBase 构建图片、视频数据的统一存储检索方案
753 0
如何基于 HBase 构建图片、视频数据的统一存储检索方案|学习笔记