NoSQL数据库

作者： 邹晨俊 有赞大数据离线计算负责人 本文介绍了SparkSQL在有赞数据仓库的实践，以及离线任务从Hive向SparkSQL迁移的一些经验

1.背景 AssignmentManager 模块是 HBase 中一个非常重要的模块，Assignment Manager (之后简称 AM)负责了 HBase 中所有 region 的 Assign，UnAssign，以及 split/merge 过程中 region 状态变化的管理等等。

任何系统都会有各种各样的问题，有些是系统本身设计问题，有些却是使用姿势问题。HBase也一样，在真实生产线上大家或多或少都会遇到很多问题，有些是 HBase 还需要完善的，有些是我们确实对它了解太少。总结起来，大家遇到的主要问题无非是 Full GC 异常导致宕机问题、RIT 问题、写吞吐量太低以及读延迟较大。

1. 背景 HBase 可以很方便的将图片、文本等文件以二进制的方式进行存储。虽然 HBase 一般可以处理从 1 字节到 10MB 大小的二进制对象，但是 HBase 通常对于读写路径的优化主要是针对小于 100KB 的值。

吴阳平 阿里巴巴 HBase 业务架构师

吴阳平 阿里巴巴 HBase 业务架构师

人工智能逐渐火热起来，特别是和大数据一起结合使用。人工智能的 主要场景又包括图像能力、语音能力、自然语言处理能力和用户画像能力等等。

李扬 滴滴出行 资深软件开发工程师

陈明 阿里巴巴 技术专家

主题：Graph图数据库基础介绍及场景 讲师：陈江（恬泰）——阿里数据库技术专家 内容概要：阿里云graphDB是构建在HBase基础之上图数据库，基于开源项目hgraphdb及tinkerpop构建而成，本次分享将深入介绍阿里云graphdb及tinkerpop内核，及图数据库具体使用场景。

HBase 生态介绍 HBase是受Google公布的BigTable论文而产生的一种分布式、多版本、面向列的开源 KV 数据库。HBase稀疏矩阵的设计使得其特别适合存储非结构化的数据，比如用户画像、日志以及消息等数据。

最近接到多个MongoDB内存方面的线上case及社区问题咨询，主要集中在: 为什么我的 MongoDB 使用了 XX GB 内存？ 一个机器上部署多个 Mongod 实例/进程，WiredTiger cache 应该如何配置？ MongoDB 是否应该使用 SWAP 空间来降低内存压力？ M.

最全资料下载 直播往期回顾 直播排期 推荐专家 精彩问答

开源版Phoenix对于时区的处理比较混乱，容易造成用户误解、误用。本文梳理了开源Phoenix对于时区的处理逻辑，以及介绍了阿里云Phoenix对时区问题的解决方案。

一、HGraphDB概述图无处不在，社交和电商领域每天都会产生大量的实体连接数据，而描述图的方式往往是使用包括顶点和边以及丰富的属性的属性图来展现。在如今的2018年，社交网络和电商数据往往能够形成非常大的实体图，包括数十亿顶点和百亿条边这样的数据量。

一、HBase基础与存储的优势HBase主要具有五大核心优势，即海量存储、列式存储、易扩展、高并发以及稀疏矩阵。HBase所能够应用的场景包括对象存储、用户画像推荐、聊天消息实时流、索引、报表以及轨迹数据和监控数据等。

一、HBase在360的使用情况 从数据来看，360目前共有27个HBase集群，其中在线集群9个，综合集群3个。整个360共有12500个HBase节点，单集群最多有2184个RegionServer。

内容概要：GeoMesa是一款开源的基于分布式计算系统的面向海量时空数据查询与分析的工具包。本报告首先介绍了GeoMesa基于HBase系统的整体架构与部署架构，其次，分析了其时空索引原理与算法实现，最后简要介绍了GeoMesa与Spark、Kafka、Lambda等开源系统或架构的整合方式。

2018年HBase生态社群画像 +最全资料汇总下载

在之前的HBase版本中，我们可以依赖hbck来帮助检查问题和修复问题，在新的版本上我们应该如何去处理呢？HBASE-19121[1]给了我们答案——HBCK2。 HBCK2目前发布了1.0版本，还在一直开发中，感兴趣的同学看看这个issue。

HBase是一个基于Hadoop的分布式、面向列的Key-Value存储系统，可以对需要实时读写、随机访问大规模数据集的场景提供高可靠、高性能的服务，在大数据相关领域应用广泛。HBase可以对数据进行透明的切分，使得存储和计算本身具有良好的水平扩展性。

HBase可以很方便的将图片、文本等文件以二进制的方式进行存储。虽然HBase一般可以处理从1字节到10MB大小的二进制对象，但是HBase通常对于读写路径的优化主要是针对小于100KB的值。当HBase处理数据为100KB~10MB时，由于分裂（split)和压缩（compaction）会引起写的放大，从而会降低HBase性能。

任何系统都会有各种各样的问题，有些是系统本身设计问题，有些却是使用姿势问题。HBase也一样，在真实生产线上大家或多或少都会遇到很多问题，有些是HBase还需要完善的，有些是我们确实对它了解太少。总结起来，大家遇到的主要问题无非是Full GC异常导致宕机问题、RIT问题、写吞吐量太低以及读延迟较大。

本文来自于2018年12月25日在 HBase生态+Spark社区钉钉大群直播，本群每周二下午18点-19点之间进行 HBase+Spark技术分享。加群地址：https://dwz.cn/Fvqv066s。

2018年12月23日14点，我们在北京朝阳360公司A座一层发布厅举办了中国HBase技术社区第九届meetup-HBase典型应用场景与实践。

数据爆炸使得传统单机数据库面临一系列挑战，HBase作为NoSQL数据库，解决了大规模数据实时读写的难题。Phoenix项目在HBase的基础上增加了SQL语言表达，算子原地执行，二级索引，加盐表等特性，进化成为了NewSQL数据库，更好用也更强大。

HBase集群间如何高效、稳定、准确地进行大规模数据迁移。

社区版redis cluster是一个P2P无中心节点的集群架构，依靠gossip协议传播协同自动化修复集群的状态。本文将深入redis cluster gossip协议的细节，剖析redis cluster gossip协议机制如何运转。

本期直播资料下载以及往期直播资料下载大全

一、八年双十一，造就国内最大最专业HBase技术团队 阿里巴巴集团早在2010开始研究并把HBase投入生产环境使用，从最初的淘宝历史交易记录，到蚂蚁安全风控数据存储。持续8年的投入，历经8年双十一锻炼。

讲师：阿里多模型数据库专家 ——玄陵 主要内容介绍：阿里云HBase 备份恢复的设计背景、原理、实现以及与业内大数据数据库的备份恢复机制的异同。 视频回看下载地址：https://yunqivedio.alicdn.com/od/3WfyH1543920819489.mp4 PPT下载地址：https://yq.aliyun.com/download/3126 ---- 每周二下午六点都会有阿里专家在【 HBase生态+Spark社区 钉钉大群】直播，交流HBase技术。

本期分享专家：张赟—阿里多模型数据库专家 本期分享主题：Phoenix 基本介绍及二级索引 视频地址：https://yunqivedio.alicdn.com/od/pnb7E1543455829418.

在技术快速发展的今天，各行各业的数据量不断增加。审计行业也发生了翻天覆地的变化，身处其中的毕马威，如何利用HBase提高对客户的服务，让客户的满意度有所提升。本文将从以下三个方面(选择HBase的原因，实例剖析，总结与展望)来分析。

Apsara HBase 备份恢复所有的数据库产品都有备份恢复，Apache HBase官方目前没有一个release版本的备份恢复功能，官网提出的方案和机制操作都是很复杂。所以阿里云赋能HBase的备份恢复能力并支持全量和增量的备份和恢复，同时具有高性能、低成本和低线上影响充分自动化。

开源大数据处理首选Spark，Spark引擎助力数据构架升级，大数据构架分为多种系统，如：流式处理系统、离线分析系统、算法分析系统、交互式分析系统，通过阿里多模型数据库专家沐远的讲解学习Spark并解决各种业务问题。

近几年来，人工智能逐渐火热起来，特别是和大数据一起结合使用。人工智能的主要场景又包括图像能力、语音能力、自然语言处理能力和用户画像能力等等。这些场景我们都需要处理海量的数据，处理完的数据一般都需要存储起来，这些数据的特点主要有如下几点： 大：数据量越大，对我们后面建模越会有好处； 稀疏：每行数据可能拥有不同的属性，比如用户画像数据，每个人拥有属性相差很大，可能用户A拥有这个属性，但是用户B没有这个属性；那么我们希望存储的系统能够处理这种情况，没有的属性在底层不占用空间，这样可以节约大量的空间使用； 列动态变化：每行数据拥有的列数是不一样的。

2018年11月17号，由中国HBase技术社区、DataFun社区联合氪空间主办的中国第八届HBase Meetup将来到南京，届时来自阿里云、毕马威、苏宁等公司HBase的专家们，将为大家分享HBase的应用实践。

本文来自于2018年10月20日由中国 HBase 技术社区在武汉举办的中国 HBase Meetup 第六次线下交流会。 HBase基本知识介绍及典型案例分析 PPT 下载：http://hbase.group/slides/162 本次分享的内容主要分为以下五点： HBase基本知识； HBase读写流程； RowKey设计要点； HBase生态介绍； HBase典型案例分析。