Apache HBase2.0正式发布——内附导读材料

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 Tair(兼容Redis),内存型 2GB
简介: 激动 HBase2.0 啥时候发布?好奇宝宝也是期待了很久,曾几何时都把stack问“烦”了,就在2018年4月30日中午, 期待已久的HBase 2.0发布啦! 你是不是也很迫不及待想了解它?这次,作为一枚HBase搬运工,已经为你准备好了一大波 HBase 2.0.0导读材料,拿走不谢~ 北京时间2018年4月30日(星期一) 中午12:24,HBase的“掌门人”Michael Stack 在Announce Mail List中宣布了HBase 2.0.0 版本正式Release,大家可以开始下载使用了。

激动

HBase2.0 啥时候发布?好奇宝宝也是期待了很久,曾几何时都把stack问“烦”了,就在2018年4月30日中午,
期待已久的HBase 2.0发布啦!
47b34791153624154c1736222158d204cc1cbfb7

你是不是也很迫不及待想了解它?这次,作为一枚HBase搬运工,已经为你准备好了一大波 HBase 2.0.0导读材料,拿走不谢~
北京时间2018年4月30日(星期一) 中午12:24,HBase的“掌门人”Michael Stack 在Announce Mail List中宣布了HBase 2.0.0 版本正式Release,大家可以开始下载使用了。

膜拜

拜读stack大神announce email原文,激动人心的时刻:

The HBase team is happy to announce the immediate availability of Apache
HBase 2.0.0.

Apache HBase™ is the Hadoop database, a distributed, scalable, big data
store.
To learn more about HBase, see https://hbase.apache.org/.

HBase 2.0.0 is our second major release, the first release off the HBase
2.0 line.

Please review 'Upgrading from 1.x to 2.x' in the bundled HBase 2.0.0
Reference
Guide before installing or upgrading for a list of notable
incompatibilities, major
changes, and features including a new Region assignment manager ("AMv2"),
a means for configuring the read and/or write path to run off-heap, and an
optional In-Memory Compaction ("IMC", A.K.A "Accordion") facility.

According to our adopted Semantic Versioning guidelines[2], we allowed
ourselves make breaking changes in this major version release. For
example, Coprocessors will need to be recast to fit more constrained APIs
and
rolling upgrade of an hbase-1.x install to hbase-2.x without downtime is
(currently)
not possible. That said, a bunch of effort has been expended mitigating the
differences; a hbase-1.x client can perform DML against an hbase-2 cluster.
A
bundled compatibility report showing difference from 1.2.6 may be of help
[3].

For the complete list of fixes and improvements, see the included
`CHANGES.md` (or online at [1]) and `RELEASENOTES.md`.
......

邮件简述了HBase 2.0.0 有新版Assignment Manager V2,offhead read/write, in-memory compaction等。你是不是也很好奇,HBase 2.0 到底还有有哪些features? https://s.apache.org/hbase-2.0.0-JIRA-changes 上显示了HBase2.0.0相关的issue多达4551个issue, 这么多改动,还有哪些features值得关注一下呢?

了解

下面整理了一些HBase2.0.0 主要的feature介绍,更多特性,可以参考上述链接:
1.A new Region assignment manager ("AMv2") ,HBASE-14350 , HBASE-14614
AssignmentManager V2基于Procedure V2实现,能够更快速的分配Region,维护的region状态机存储不再依赖于ZooKeeper。亲可以搭建一个hbase2.0 集群,查看ZK节点列表,已经找不到类似region-in-transistion节点了。

2.Offheaping of Read/Write Path  HBASE-11425,HBASE-15179
读写路径中,使用Offheap区的内存,大大减少GC压力,提高稳定性、降低99延时。细节见下面offheap扩展阅读材料。

3.In-Memory Compaction  HBASE-17343
重新设计了CompactingMemStore 替代 DefaultMemStore,数据会在内存中事先进行合并compact,有效提高后续常规compaction的效率。

4.NettyRpcServer  HBASE-17263  其实并不新鲜,早在1.x 淘宝就有使用,现在2.0 开始默认使用NettyRpcServer
使用Netty替代HBase原生的RPC server,大大提升了HBaseRPC的吞吐能力,降低了延迟

5.Async Client HBASE-16833 HBASE-15921
Client不在是原来同步等待,而是利用异步RPC机制,大大提高Client端请求并发度,有效提高资源利用率,扩大吞吐。

7. Support for MOB (Medium-Sized Objects)  HBASE-11339
MOB特性使得HBase支持存储小于10MB 的中等媒体对象数据,相比原来直接存储大对象插入hbase,其读写效率更高;Mob数据存储还是以hfile格式存储,兼容HBase现有特性,如snapshot、bulkload、replication等。MOB数据文件有独立的compaction和expire clean机制,稳定性更可控。

研究

还不过瘾?下面还真为热爱专研的砖友们网罗了一些 hbase2.0特性详细的扩展阅读! 都是 大神执笔的干货:

5.  hbase2.0 offheap read
12. HBase 2.0 AMv2

官方下载&指南

HBase 2.0.0 安装包下载地址:

官方阅读:
1.  https://s.apache.org/hbase-2.0.0-JIRA-changes  所有hbase2.0相关的jira,subtask 
2.  http://hbase.apache.org/2.0/book.html#hbase.versioning.post10  最新的HBase 2.0.0官方指南
3.  http://apache.mirrors.tds.net/hbase/2.0.0/compatibiliity_report_1.2.6vs2.0.0.html  整理了v1.2.6和v2.0.0版本之间的兼容性报告

其他更多优化特性,不一一列举,后续可能会由”云HBase“小组为你带来更多HBase 2.0细节上的特性优化文章分享。
钉钉 扫码关注hbase技术交流群,敬请期待。
12c2eca00a159aa7f620847b3253568acb9c31d7
最后播报一下,云HBase2.0 在2018年6月6日将正式发布,点击了解更多
02e60ad330a6a8d6913136d358d31b1fd7d3ea31


相关实践学习
lindorm多模间数据无缝流转
展现了Lindorm多模融合能力——用kafka API写入,无缝流转在各引擎内进行数据存储和计算的实验。
云数据库HBase版使用教程
  相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情: https://cn.aliyun.com/product/hbase   ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
3月前
|
IDE Java 分布式数据库
Apache HBase 落地JAVA 实战
Apache HBase 落地 Java 实战主要涉及使用 Java API 来操作 HBase 数据库,包括表的创建、删除、数据的插入、查询等操作。以下是一个基于 Java 的 HBase 实战指南,包括关键步骤和示例代码。
240 23
|
3月前
|
存储 分布式计算 分布式数据库
深入理解Apache HBase:构建大数据时代的基石
在大数据时代,数据的存储和管理成为了企业面临的一大挑战。随着数据量的急剧增长和数据结构的多样化,传统的关系型数据库(如RDBMS)逐渐显现出局限性。
560 12
|
4月前
|
存储 缓存 分布式数据库
Apache HBase 的组件有哪些?
【8月更文挑战第31天】
102 0
|
4月前
|
存储 大数据 分布式数据库
什么是 Apache HBase?
【8月更文挑战第31天】
84 0
|
6月前
|
存储 大数据 分布式数据库
使用Apache HBase进行大数据存储:技术解析与实践
【6月更文挑战第7天】Apache HBase,一个基于HDFS的列式存储NoSQL数据库,提供高可靠、高性能的大数据存储。其特点是列式存储、可扩展至PB级数据、低延迟读写及多版本控制。适用场景包括大规模数据存储、实时分析、日志存储和推荐系统。实践包括集群环境搭建、数据模型设计、导入、查询及性能优化。HBase在大数据存储领域扮演关键角色,未来有望在更多领域发挥作用。
|
7月前
|
分布式计算 安全 Hadoop
HBase Shell-org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet 已解决
在HBase Shell遇到错误时,检查Hadoop非安全模式:`hdfs dfsadmin -safemode get`。问题解决在于`hbase-site.xml`中添加配置:Zookeeper客户端端口设为2181和预写日志提供者设为filesystem。
198 6
|
分布式数据库 Apache Hbase
《HBase应用与发展之Apache HBase的现状和发展》电子版地址
HBase应用与发展之Apache HBase的现状和发展
122 0
《HBase应用与发展之Apache HBase的现状和发展》电子版地址
|
数据处理 分布式数据库 Apache
《使用Apache Beam和HBase进行高效数据处理》电子版地址
使用Apache Beam和HBase进行高效数据处理
106 0
《使用Apache Beam和HBase进行高效数据处理》电子版地址
|
Shell 分布式数据库 Android开发
HBase的Dead节点问题&&Hbase创建表时报“org.apache.hadoop.hbase.PleaseHoldException: Master is initializing”错误
HBase的Dead节点问题&&Hbase创建表时报“org.apache.hadoop.hbase.PleaseHoldException: Master is initializing”错误
232 0
HBase的Dead节点问题&&Hbase创建表时报“org.apache.hadoop.hbase.PleaseHoldException: Master is initializing”错误
|
分布式计算 资源调度 Hadoop
在文件存储HDFS版上使用 Apache HBase
本文档主要介绍在文件存储HDFS版上使用 Apache HBase 的方法。
250 0

推荐镜像

更多