HBase是一个分布式的、面向列的开源数据库,一个结构化数据的分布式存储系统。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。阿里云HBase技术团队共同探讨HBase及其生态的问题。
李扬 滴滴出行 资深软件开发工程师
陈明 阿里巴巴 技术专家
主题:Graph图数据库基础介绍及场景 讲师:陈江(恬泰)——阿里数据库技术专家 内容概要:阿里云graphDB是构建在HBase基础之上图数据库,基于开源项目hgraphdb及tinkerpop构建而成,本次分享将深入介绍阿里云graphdb及tinkerpop内核,及图数据库具体使用场景。
HBase 生态介绍 HBase是受Google公布的BigTable论文而产生的一种分布式、多版本、面向列的开源 KV 数据库。HBase稀疏矩阵的设计使得其特别适合存储非结构化的数据,比如用户画像、日志以及消息等数据。
最全资料下载 直播往期回顾 直播排期 推荐专家 精彩问答
一、HGraphDB概述图无处不在,社交和电商领域每天都会产生大量的实体连接数据,而描述图的方式往往是使用包括顶点和边以及丰富的属性的属性图来展现。在如今的2018年,社交网络和电商数据往往能够形成非常大的实体图,包括数十亿顶点和百亿条边这样的数据量。
一、HBase基础与存储的优势HBase主要具有五大核心优势,即海量存储、列式存储、易扩展、高并发以及稀疏矩阵。HBase所能够应用的场景包括对象存储、用户画像推荐、聊天消息实时流、索引、报表以及轨迹数据和监控数据等。
一、HBase在360的使用情况 从数据来看,360目前共有27个HBase集群,其中在线集群9个,综合集群3个。整个360共有12500个HBase节点,单集群最多有2184个RegionServer。
内容概要:GeoMesa是一款开源的基于分布式计算系统的面向海量时空数据查询与分析的工具包。本报告首先介绍了GeoMesa基于HBase系统的整体架构与部署架构,其次,分析了其时空索引原理与算法实现,最后简要介绍了GeoMesa与Spark、Kafka、Lambda等开源系统或架构的整合方式。
2018年HBase生态社群画像 +最全资料汇总下载
在之前的HBase版本中,我们可以依赖hbck来帮助检查问题和修复问题,在新的版本上我们应该如何去处理呢?HBASE-19121[1]给了我们答案——HBCK2。 HBCK2目前发布了1.0版本,还在一直开发中,感兴趣的同学看看这个issue。
HBase是一个基于Hadoop的分布式、面向列的Key-Value存储系统,可以对需要实时读写、随机访问大规模数据集的场景提供高可靠、高性能的服务,在大数据相关领域应用广泛。HBase可以对数据进行透明的切分,使得存储和计算本身具有良好的水平扩展性。
HBase可以很方便的将图片、文本等文件以二进制的方式进行存储。虽然HBase一般可以处理从1字节到10MB大小的二进制对象,但是HBase通常对于读写路径的优化主要是针对小于100KB的值。当HBase处理数据为100KB~10MB时,由于分裂(split)和压缩(compaction)会引起写的放大,从而会降低HBase性能。
任何系统都会有各种各样的问题,有些是系统本身设计问题,有些却是使用姿势问题。HBase也一样,在真实生产线上大家或多或少都会遇到很多问题,有些是HBase还需要完善的,有些是我们确实对它了解太少。总结起来,大家遇到的主要问题无非是Full GC异常导致宕机问题、RIT问题、写吞吐量太低以及读延迟较大。
本文来自于2018年12月25日在 HBase生态+Spark社区钉钉大群直播,本群每周二下午18点-19点之间进行 HBase+Spark技术分享。加群地址:https://dwz.cn/Fvqv066s。
2018年12月23日14点,我们在北京朝阳360公司A座一层发布厅举办了中国HBase技术社区第九届meetup-HBase典型应用场景与实践。
HBase集群间如何高效、稳定、准确地进行大规模数据迁移。
本期直播资料下载以及往期直播资料下载大全
精彩直播:HBase生态+Spark社区钉钉大群直播往期回顾——视频回看及PPT下载;线下活动:阿里云栖开发者沙龙;优质博文。
HBase典型应用场景与实践
讲师:阿里多模型数据库专家 ——玄陵 主要内容介绍:阿里云HBase 备份恢复的设计背景、原理、实现以及与业内大数据数据库的备份恢复机制的异同。 视频回看下载地址:https://yunqivedio.alicdn.com/od/3WfyH1543920819489.mp4 PPT下载地址:https://yq.aliyun.com/download/3126 ---- 每周二下午六点都会有阿里专家在【 HBase生态+Spark社区 钉钉大群】直播,交流HBase技术。
本期分享专家:张赟—阿里多模型数据库专家 本期分享主题:Phoenix 基本介绍及二级索引 视频地址:https://yunqivedio.alicdn.com/od/pnb7E1543455829418.
在技术快速发展的今天,各行各业的数据量不断增加。审计行业也发生了翻天覆地的变化,身处其中的毕马威,如何利用HBase提高对客户的服务,让客户的满意度有所提升。本文将从以下三个方面(选择HBase的原因,实例剖析,总结与展望)来分析。
Apsara HBase 备份恢复所有的数据库产品都有备份恢复,Apache HBase官方目前没有一个release版本的备份恢复功能,官网提出的方案和机制操作都是很复杂。所以阿里云赋能HBase的备份恢复能力并支持全量和增量的备份和恢复,同时具有高性能、低成本和低线上影响充分自动化。
HBase技术双周刊第1期来袭!HBase多模式、HBase内核及能力以及Spark介绍及Spark多数据源分析等精彩直播,HBase 在人工智能场景的使用、HBase2.0重新定义小对象实时存取精彩技术分享!
开源大数据处理首选Spark,Spark引擎助力数据构架升级,大数据构架分为多种系统,如:流式处理系统、离线分析系统、算法分析系统、交互式分析系统,通过阿里多模型数据库专家沐远的讲解学习Spark并解决各种业务问题。
2018年11月17号,由中国HBase技术社区、DataFun社区联合氪空间主办的中国第八届HBase Meetup将来到南京,届时来自阿里云、毕马威、苏宁等公司HBase的专家们,将为大家分享HBase的应用实践。
本文来自于2018年10月20日由中国 HBase 技术社区在武汉举办的中国 HBase Meetup 第六次线下交流会。 HBase基本知识介绍及典型案例分析 PPT 下载:http://hbase.group/slides/162 本次分享的内容主要分为以下五点: HBase基本知识; HBase读写流程; RowKey设计要点; HBase生态介绍; HBase典型案例分析。