陆豪:云数据库HBase产品架构场景解析

本文涉及的产品
云服务器 ECS,每月免费额度200元 3个月
云服务器ECS,u1 2核4GB 1个月
简介: 2018数据库直播大讲堂峰会HBase专场,阿里云技术专家陆豪带来云数据库HBase产品架构场景解析。本文主要谈及了云HBase产品架构,进而着重分享了云HBase应用场景解析和典型客户案例,接着介绍了云HBase内核优化及特性,最后对云HBase平台运维和稳定性保障作了简要分享。

2018数据库直播大讲堂峰会HBase专场,阿里云技术专家陆豪带来云数据库HBase产品架构场景解析。本文主要谈及了云HBase产品架构,进而着重分享了云HBase应用场景解析和典型客户案例,接着介绍了云HBase内核优化及特性,最后对云HBase平台运维和稳定性保障作了简要分享。
直播视频https://yq.aliyun.com/video/play/1333
PDF下载https://yq.aliyun.com/download/2458
以下是精彩视频内容整理:

云HBase产品架构

关系型数据库主要解决中小规模存储需求,当数据量变大后,会有分库分表以解决一定容量的需求实现复杂、业务感知,当数据量达到海量存储时,会有分布式存储、海量存储,数据库会牺牲一些一致性要求达到千万并发及QPS。
传统关系型数据库遇到的问题主要包括四个方面:

  1. 成本:一般需要高端存储,成本较高!
  2. 容量:无法满足TB、PB级别的存储。
  3. QPS:无法满足超高的并发要求,性能不不能横向扩展。
  4. 分析:缺乏分析的框架及支持。

而HBase使用普通磁盘,其分布式存储可以轻松满足从GB到PB的需求,可以自动横向扩展,满足高达5000w QPS需求,Spark on HBase原生支持分析需求,通过分析HFile可以加速分析性能。
HBase支持实时更新、增量导入、多维删除、随机查询、范围查询,它是高伸缩、高可用、高可靠、高性能、高适应在线分布式NOSQL数据库。

1


HBase还解决了其它关系型数据库解决不了的问题,支持多版本、动态列、异构存储等。

ApsaraDB HBase

2


ApsaraDB HBase提供安全、多活、稳定性和同步等运维体系,底层基于共享存储做到计算存储分离,我们使用的HBase内核是在阿里HBase内部版本,相比开源版本做了很多改进,性能方面有一定的提升,HBase天然支持KV方式访问,在HBase之上集成其它组件可以提供更丰富的访问形式,我们和阿里其它产品做到很好的打通,可以很好支持流式处理、批处理和机器学习需求。
ApsaraDB HBase主要特性包括容量大(200G-10P)、动态扩容、高并发/高吞吐量(1W-5000W)、强大丰富的生态。

3


ApsaraDB HBase支持丰富接口,比如KV、SQL、表格存储、文档类型等。

4


ApsaraDB HBase产品形态分为集群版和单节点版本,单节点版主要满足测试开发的需求,成本极低。集群版又分为云盘和本地盘,云盘特点是存储与计算分离,可以很方便扩容,本地盘与用物理机搭建HBase一致,存储与计算不分离,但存储便宜、延迟低。
ApsaraDB HBase与云上许多产品进行了很好的打通,其中包括支持:
  • EMR Spark:包括Spark组件,可以访问HBase,分析数据。SparkStreaming可以实时写入数据到HBase;
  • ODPS SQL:HBase数据可以实时同步到 ODPS,ODPS可以离线计算,满足离线数仓需求;
  • ElasticSearch :HBase中的字段,实时检索的需求;
  • Blink: 流式计算写入到HBase。

    5


ApsaraDB HBase与开源HBase(EMR HBase或者自建)的区别如图,云HBase是全托管,所有运维工作都是阿里云来做,支持双活,内核在性能、主备多个方面进行了优化。
与竞争产品对比,我们的产品更成熟、内核性能高出2~3倍、延迟低且稳定性高。

云HBase应用场景解析和典型客户案例

HBase应用场景十分广泛,从存储类型来看,HBase支持报表类、时序类、日志类、消息类、推荐类、风控类和轨迹类数据等;从应用行业来说,电子商务、物联网、聊天软件、金融、广告商、新闻、电信等在使用。阿里内部拥有数百个集群、数百个业务,总计10000+节点、PB+数据、1亿+TPS,主要支撑日志、聊天、监控、订单、IOT、风控和搜索等业务,阿里、京东、小米、腾讯、网易、360、知乎、中国人寿、电信等都在使用HBase。

某车联网企业

6


某车联网企业使用HBase架构如图所示,数据通过阿里IOT套件经过流计算清洗写入到HBase,将存储汽车轨迹数据和传感器数据进行分析计算。
Rowkey设计是用Sub(Hash(车辆ID),5) + 车辆ID + 时间,每辆车 10s上传一次,每次1KB。使用GeoHash存放轨迹信息,100万台车1年数据存储3P,读写请求达100w+。

白骑士(大数据风控公司)

7


用户行为数据是高度非结构化的,数据有不同的来源,每种来源结构不一样,HBase能够很好支撑各种不同结构数据存储。爬虫和APP收集到的原始数据信息会用Spark做一些算法训练,算法结果会回写到HBase里面,使用Spark SQL来生成一些报表,会有ECS实时查询返回结果,数据量达到200T+.

Soul社交

8


社交消息是feed流模式消息推进,feed流需要根据时间、兴趣等维度从数据库中做查询,对于系统可用性要求非常高。我们做了双集群保障,SLA要求达到99.99,单集群读写高峰QPS 1000w+,数据量达30T。

某金融公司(历史数据实时查询)

9


金融公司需要保留很长时间的历史数据且实时查询,HBase在该场景下有很大优势,ODPS批量加载到HBase中,HBase使用Phoenix实现SQL实时查询,单表10000亿数据,建立了很多二级索引,多个索引字段,数据量达100T。

数据流

10


阿里云经过多年沉淀积累的HBase数据流大图如图,可以看到,数据源可以是ECS服务、传感器等,中间经过消息队列通过流式计算方式写入到HBase中,也可以在ECS上直接写入,也支持从消息队列直接写入HBase。此外,也可以通过数据同步批量写入其它数据源的数据。数据出口通过ECS实时读取分析,也可以实时索引同步ES等。
众多客户信任ApsaraDB HBase,包括大搜车、千寻位置、天虹基金、蚂蚁金服、亿方云、南华期货、白骑士等。

云HBase内核优化及特性

阿里对云HBase内核进行了数百项优化及功能改进,经历天猫双十一历练,服务阿里集团,数百个集群、10000+ 机器、QPS 10亿,最大集群2000台,在集团各个业务有广泛的应用,有2 HBase PMC、3 Committer、数十位内核贡献者贡献200+ patch。
HBase性能优化包括更高的QPS,随机读最高提升 200%以上、随机写提升50%,还有更高的压缩比,以及更平稳的读写延迟。
云HBase还具备以下特性:

  • 云HBase提供增量导出功能,把增量数据实时写入到消息中间件中,再把数据同步到ODPS中做离线分析,或同步到ES做全文索引,原始数据存放HBase,检索字段存放ES。
  • 云HBase还支持企业安全,使用用户名密码登录HBase,这样可以有安全白名单,还会进行数据加密。
  • 云HBase支持公网访问,在自己的开发机器上即可访问,方便用户在线下部署开发测试环境,方便线下HBase集群上云。

云HBase平台运维和稳定性保障

我们的数据可靠性可以达到9个9,几乎不会丢数据,我们的服务可用性单集群99.9%、双集群99.99%。
ApsaraDB HBase提供了很多保障,包括运维自动化、自动守护服务、在线扩容节点/磁盘、内核在线升级、可用性检测/容量报警、15分钟快速交付、指标可视化和专家在线24小时在线服务。
在稳定性运维处理方面,我们会做热点检测并自动迁移、MajorCompaction分阶段处理、读写分离、大Scan报警、HDFS定时自动均衡、更多的参数在线生效。ApsaraDB HBase 双活保障可用性,切换时间20S以内。

本文由云栖志愿小组毛鹤整理,编辑百见

相关实践学习
云数据库HBase版使用教程
  相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情: https://cn.aliyun.com/product/hbase   ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
11天前
|
存储 机器学习/深度学习 搜索推荐
深入解析矢量数据库的数据模型与索引机制
【4月更文挑战第30天】本文深入探讨了矢量数据库的数据模型和索引机制。向量数据库以高维向量表示数据,采用稀疏或密集向量形式,并通过数据编码和组织优化存储与检索。索引机制包括基于树的(如KD-Tree和Ball Tree)、基于哈希的(LSH)和近似方法(PQ),加速相似性搜索。理解这些原理有助于利用矢量数据库处理大规模高维数据,应用于推荐系统、图像搜索等领域。随着技术发展,矢量数据库将扮演更重要角色。
|
11天前
|
存储 前端开发 中间件
🚀React+Node全栈无死角解析,吃透文件上传的各个场景
🚀React+Node全栈无死角解析,吃透文件上传的各个场景
|
4天前
|
弹性计算 数据挖掘 应用服务中间件
阿里云服务器通用算力型U1实例解析,实例性能、适用场景及常见问题参考
在阿里云服务器的所有实例规格中,通用算力型u1实例主打的是高性价比,通用算力型U1实例云服务器自推出以来,就受到了广大用户的关注,也是目前阿里云的活动中比较热门的云服务器实例,这个实例规格的性能要好于经济型e等共享型实例,价格又比计算型c7、通用型g7等其他企业级实例要低一些。本文将深入解析通用算力型U1实例的特点、适用场景以及价格优势,帮助用户更好地了解该云服务器实例。
阿里云服务器通用算力型U1实例解析,实例性能、适用场景及常见问题参考
|
10天前
|
监控 Java 测试技术
【企业场景】常见技术场景解析
【企业场景】常见技术场景解析
95 0
|
10天前
|
设计模式 Java 数据库连接
【企业场景】设计模式重点解析(下)
【企业场景】设计模式重点解析
19 0
|
10天前
|
设计模式 算法 Java
【企业场景】设计模式重点解析(上)
【企业场景】设计模式重点解析
15 0
|
11天前
|
存储 Cloud Native 关系型数据库
PolarDB-X 是面向超高并发、海量存储和复杂查询场景设计的云原生分布式数据库系统
【5月更文挑战第14天】PolarDB-X 是面向超高并发、海量存储和复杂查询场景设计的云原生分布式数据库系统
120 2
|
11天前
|
监控 Linux 数据处理
|
11天前
|
存储 监控 Apache
查询提速11倍、资源节省70%,阿里云数据库内核版 Apache Doris 在网易日志和时序场景的实践
网易的灵犀办公和云信利用 Apache Doris 改进了大规模日志和时序数据处理,取代了 Elasticsearch 和 InfluxDB。Doris 实现了更低的服务器资源消耗和更高的查询性能,相比 Elasticsearch,查询速度提升至少 11 倍,存储资源节省达 70%。Doris 的列式存储、高压缩比和倒排索引等功能,优化了日志和时序数据的存储与分析,降低了存储成本并提高了查询效率。在灵犀办公和云信的实际应用中,Doris 显示出显著的性能优势,成功应对了数据增长带来的挑战。
查询提速11倍、资源节省70%,阿里云数据库内核版 Apache Doris 在网易日志和时序场景的实践
|
11天前
|
前端开发 JavaScript 数据安全/隐私保护
前端javascript的DOM对象操作技巧,全场景解析(二)
前端javascript的DOM对象操作技巧,全场景解析(二)