陆豪:云数据库HBase产品架构场景解析

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 2018数据库直播大讲堂峰会HBase专场,阿里云技术专家陆豪带来云数据库HBase产品架构场景解析。本文主要谈及了云HBase产品架构,进而着重分享了云HBase应用场景解析和典型客户案例,接着介绍了云HBase内核优化及特性,最后对云HBase平台运维和稳定性保障作了简要分享。

2018数据库直播大讲堂峰会HBase专场,阿里云技术专家陆豪带来云数据库HBase产品架构场景解析。本文主要谈及了云HBase产品架构,进而着重分享了云HBase应用场景解析和典型客户案例,接着介绍了云HBase内核优化及特性,最后对云HBase平台运维和稳定性保障作了简要分享。
直播视频https://yq.aliyun.com/video/play/1333
PDF下载https://yq.aliyun.com/download/2458
以下是精彩视频内容整理:

云HBase产品架构

关系型数据库主要解决中小规模存储需求,当数据量变大后,会有分库分表以解决一定容量的需求实现复杂、业务感知,当数据量达到海量存储时,会有分布式存储、海量存储,数据库会牺牲一些一致性要求达到千万并发及QPS。
传统关系型数据库遇到的问题主要包括四个方面:

  1. 成本:一般需要高端存储,成本较高!
  2. 容量:无法满足TB、PB级别的存储。
  3. QPS:无法满足超高的并发要求,性能不不能横向扩展。
  4. 分析:缺乏分析的框架及支持。

而HBase使用普通磁盘,其分布式存储可以轻松满足从GB到PB的需求,可以自动横向扩展,满足高达5000w QPS需求,Spark on HBase原生支持分析需求,通过分析HFile可以加速分析性能。
HBase支持实时更新、增量导入、多维删除、随机查询、范围查询,它是高伸缩、高可用、高可靠、高性能、高适应在线分布式NOSQL数据库。

1


HBase还解决了其它关系型数据库解决不了的问题,支持多版本、动态列、异构存储等。

ApsaraDB HBase

2


ApsaraDB HBase提供安全、多活、稳定性和同步等运维体系,底层基于共享存储做到计算存储分离,我们使用的HBase内核是在阿里HBase内部版本,相比开源版本做了很多改进,性能方面有一定的提升,HBase天然支持KV方式访问,在HBase之上集成其它组件可以提供更丰富的访问形式,我们和阿里其它产品做到很好的打通,可以很好支持流式处理、批处理和机器学习需求。
ApsaraDB HBase主要特性包括容量大(200G-10P)、动态扩容、高并发/高吞吐量(1W-5000W)、强大丰富的生态。

3


ApsaraDB HBase支持丰富接口,比如KV、SQL、表格存储、文档类型等。

4


ApsaraDB HBase产品形态分为集群版和单节点版本,单节点版主要满足测试开发的需求,成本极低。集群版又分为云盘和本地盘,云盘特点是存储与计算分离,可以很方便扩容,本地盘与用物理机搭建HBase一致,存储与计算不分离,但存储便宜、延迟低。
ApsaraDB HBase与云上许多产品进行了很好的打通,其中包括支持:
  • EMR Spark:包括Spark组件,可以访问HBase,分析数据。SparkStreaming可以实时写入数据到HBase;
  • ODPS SQL:HBase数据可以实时同步到 ODPS,ODPS可以离线计算,满足离线数仓需求;
  • ElasticSearch :HBase中的字段,实时检索的需求;
  • Blink: 流式计算写入到HBase。

    5


ApsaraDB HBase与开源HBase(EMR HBase或者自建)的区别如图,云HBase是全托管,所有运维工作都是阿里云来做,支持双活,内核在性能、主备多个方面进行了优化。
与竞争产品对比,我们的产品更成熟、内核性能高出2~3倍、延迟低且稳定性高。

云HBase应用场景解析和典型客户案例

HBase应用场景十分广泛,从存储类型来看,HBase支持报表类、时序类、日志类、消息类、推荐类、风控类和轨迹类数据等;从应用行业来说,电子商务、物联网、聊天软件、金融、广告商、新闻、电信等在使用。阿里内部拥有数百个集群、数百个业务,总计10000+节点、PB+数据、1亿+TPS,主要支撑日志、聊天、监控、订单、IOT、风控和搜索等业务,阿里、京东、小米、腾讯、网易、360、知乎、中国人寿、电信等都在使用HBase。

某车联网企业

6


某车联网企业使用HBase架构如图所示,数据通过阿里IOT套件经过流计算清洗写入到HBase,将存储汽车轨迹数据和传感器数据进行分析计算。
Rowkey设计是用Sub(Hash(车辆ID),5) + 车辆ID + 时间,每辆车 10s上传一次,每次1KB。使用GeoHash存放轨迹信息,100万台车1年数据存储3P,读写请求达100w+。

白骑士(大数据风控公司)

7


用户行为数据是高度非结构化的,数据有不同的来源,每种来源结构不一样,HBase能够很好支撑各种不同结构数据存储。爬虫和APP收集到的原始数据信息会用Spark做一些算法训练,算法结果会回写到HBase里面,使用Spark SQL来生成一些报表,会有ECS实时查询返回结果,数据量达到200T+.

Soul社交

8


社交消息是feed流模式消息推进,feed流需要根据时间、兴趣等维度从数据库中做查询,对于系统可用性要求非常高。我们做了双集群保障,SLA要求达到99.99,单集群读写高峰QPS 1000w+,数据量达30T。

某金融公司(历史数据实时查询)

9


金融公司需要保留很长时间的历史数据且实时查询,HBase在该场景下有很大优势,ODPS批量加载到HBase中,HBase使用Phoenix实现SQL实时查询,单表10000亿数据,建立了很多二级索引,多个索引字段,数据量达100T。

数据流

10


阿里云经过多年沉淀积累的HBase数据流大图如图,可以看到,数据源可以是ECS服务、传感器等,中间经过消息队列通过流式计算方式写入到HBase中,也可以在ECS上直接写入,也支持从消息队列直接写入HBase。此外,也可以通过数据同步批量写入其它数据源的数据。数据出口通过ECS实时读取分析,也可以实时索引同步ES等。
众多客户信任ApsaraDB HBase,包括大搜车、千寻位置、天虹基金、蚂蚁金服、亿方云、南华期货、白骑士等。

云HBase内核优化及特性

阿里对云HBase内核进行了数百项优化及功能改进,经历天猫双十一历练,服务阿里集团,数百个集群、10000+ 机器、QPS 10亿,最大集群2000台,在集团各个业务有广泛的应用,有2 HBase PMC、3 Committer、数十位内核贡献者贡献200+ patch。
HBase性能优化包括更高的QPS,随机读最高提升 200%以上、随机写提升50%,还有更高的压缩比,以及更平稳的读写延迟。
云HBase还具备以下特性:

  • 云HBase提供增量导出功能,把增量数据实时写入到消息中间件中,再把数据同步到ODPS中做离线分析,或同步到ES做全文索引,原始数据存放HBase,检索字段存放ES。
  • 云HBase还支持企业安全,使用用户名密码登录HBase,这样可以有安全白名单,还会进行数据加密。
  • 云HBase支持公网访问,在自己的开发机器上即可访问,方便用户在线下部署开发测试环境,方便线下HBase集群上云。

云HBase平台运维和稳定性保障

我们的数据可靠性可以达到9个9,几乎不会丢数据,我们的服务可用性单集群99.9%、双集群99.99%。
ApsaraDB HBase提供了很多保障,包括运维自动化、自动守护服务、在线扩容节点/磁盘、内核在线升级、可用性检测/容量报警、15分钟快速交付、指标可视化和专家在线24小时在线服务。
在稳定性运维处理方面,我们会做热点检测并自动迁移、MajorCompaction分阶段处理、读写分离、大Scan报警、HDFS定时自动均衡、更多的参数在线生效。ApsaraDB HBase 双活保障可用性,切换时间20S以内。

本文由云栖志愿小组毛鹤整理,编辑百见

相关文章
|
13天前
|
运维 负载均衡 微服务
|
1月前
|
人工智能 JavaScript 前端开发
LangGraph架构解析
本文深入解析了传统Agent开发的三大痛点:状态管理碎片化、流程控制复杂及扩展性差,提出使用LangGraph通过有向图模型重构工作流,将LLM调用与工具执行抽象为节点,实现动态流程跳转。文中详述LangGraph四大核心组件——状态机引擎、节点设计、条件边与工具层集成,并结合生产环境最佳实践,如可视化调试、状态持久化与人工干预机制,最终对比LangGraph与传统方案的性能差异,给出选型建议。
260 0
|
19天前
|
机器学习/深度学习 负载均衡 网络架构
Mixture of Experts架构的简要解析
Mixture of Experts(MoE)架构起源于1991年,其核心思想是通过多个专门化的“专家”网络处理输入的不同部分,并由门控网络动态组合输出。这种架构实现了稀疏激活,仅激活部分专家,从而在模型规模与计算成本之间取得平衡。MoE的关键在于门控机制的设计,如线性门控、噪声Top-K门控等,确保模型能根据输入特征自适应选择专家。
113 8
|
19天前
|
JSON 供应链 监控
1688商品详情API技术深度解析:从接口架构到数据融合实战
1688商品详情API(item_get接口)可通过商品ID获取标题、价格、库存、SKU等核心数据,适用于价格监控、供应链管理等场景。支持JSON格式返回,需企业认证。Python示例展示如何调用接口获取商品信息。
|
19天前
|
机器学习/深度学习 存储 资源调度
Transformer架构的简要解析
Transformer架构自2017年提出以来,彻底革新了人工智能领域,广泛应用于自然语言处理、语音识别等任务。其核心创新在于自注意力机制,通过计算序列中任意两个位置的相关性,打破了传统循环神经网络的序列依赖限制,实现了高效并行化与长距离依赖建模。该架构由编码器和解码器组成,结合多头注意力、位置编码、前馈网络等模块,大幅提升了模型表达能力与训练效率。从BERT到GPT系列,几乎所有现代大语言模型均基于Transformer构建,成为深度学习时代的关键技术突破之一。
231 7
|
1月前
|
消息中间件 缓存 Java
医院信息系统(HIS)的开发架构解析,代码示例
医院信息系统(HIS)是现代医院的核心,其架构设计直接影响系统稳定性、扩展性与用户体验。本文解析HIS架构演进历程,从单机、C/S、B/S到微服务与云原生架构,结合代码示例,深入讲解现代HIS系统的分层架构、核心模块与关键技术实践。
336 1
|
12天前
|
Java 数据库 数据安全/隐私保护
Spring Boot四层架构深度解析
本文详解Spring Boot四层架构(Controller-Service-DAO-Database)的核心思想与实战应用,涵盖职责划分、代码结构、依赖注入、事务管理及常见问题解决方案,助力构建高内聚、低耦合的企业级应用。
254 0
|
边缘计算 Kubernetes 物联网
Kubernetes 赋能边缘计算:架构解析、挑战突破与实践方案
在物联网和工业互联网快速发展的背景下,边缘计算凭借就近处理数据的优势,成为解决云计算延迟高、带宽成本高的关键技术。而 Kubernetes 凭借统一管理、容器化适配和强大生态扩展性,正逐步成为边缘计算的核心编排平台。本文系统解析 Kubernetes 适配边缘环境的架构分层、核心挑战与新兴解决方案,为企业落地边缘项目提供实践参考。
83 0
|
24天前
|
Kubernetes Java 微服务
Spring Cloud 微服务架构技术解析与实践指南
本文档全面介绍 Spring Cloud 微服务架构的核心组件、设计理念和实现方案。作为构建分布式系统的综合工具箱,Spring Cloud 为微服务架构提供了服务发现、配置管理、负载均衡、熔断器等关键功能的标准化实现。本文将深入探讨其核心组件的工作原理、集成方式以及在实际项目中的最佳实践,帮助开发者构建高可用、可扩展的分布式系统。
229 0
|
1月前
|
数据采集 机器学习/深度学习 运维
从数据感知到决策优化:MyEMS 开源能源管理系统的技术架构与实践效能解析
MyEMS 是一款开源能源管理系统,采用分层解耦与模块化设计,支持多能源协同监测与智能优化调度。系统具备数据采集、分析、预警、碳核算等功能,助力企业实现节能降耗、安全管控与低碳转型,已在百余家全球企业落地应用,具备自主可控、成本低、安全性强等优势,面向虚拟电厂、数字孪生等未来场景持续演进。
112 0

热门文章

最新文章

推荐镜像

更多
  • DNS