云HBase建设之开篇

本文涉及的产品
云原生数据库 PolarDB 分布式版,标准版 2核8GB
RDS PostgreSQL Serverless,0.5-4RCU 50GB 3个月
推荐场景:
对影评进行热评分析
云数据库 RDS SQL Server,基础系列 2核4GB
简介: 阿里云云HBase团队在2月份推出了云HBase产品,此款产品的内核在集团内部已经使用了6年之久,那么跟社区版本的HBase有怎样的区别,我们又做了怎样的产品化,本系列将会为用户详细介绍这些点。

前言

阿里云云HBase团队在2月份推出了云HBase产品,此款产品的内核在集团内部已经使用了6年之久,那么跟社区版本的HBase有怎样的区别,我们又做了怎样的产品化,本系列将会为用户详细介绍这些点。
云HBase地址https://cn.aliyun.com/product/hbase

云HBase

云HBase的内核是基于开源社区1.1版本系列,在此之上深度改造,之前阿里在较早版本有较多的优化也会渐渐迁移到此版本中。目前在内部服务了整个集团的大数据结构化存储需求,比如:平台类需求:日志同步服务、监控系统等;用户物体行为类需求:淘宝交易、收藏夹、旺旺消息、物联网等;报表类需求:天猫大屏、商家报表等。这些有很大一部分是因为Mysql等传统关系型数据库不能满足需求,分库分表又比较麻烦且不能根本解决问题。较大的一些互联网公司,比如:google、facebook、alibaba在较早就寻求了新的解决方案-HBase。随着互联网的发展,我们遇到很多中小型公司,都有数T、数P的HBase集群,且这些集群没有改动过一行HBase源代码,出现问题后也只能干瞪眼,服务长时间不可用甚至面临数据丢失的风险,更加不会去改造HBase以满足日益增长业务需求。
云HBase团队不会满足就拿开源包装,我们真正做的是需要深度改造内核,满足日益复杂化、多样化的大数据存储需求。阿里从2011年初开始步入HBase的发展、建设之路,是国内最早应用、研究、发展、回馈的团队,也诞生了HBase社区在国内的第一位Committer,成为HBase在中国发展的积极布道者。过去的几年时间,阿里累积向社区回馈了上百个Patch, 在诸多核心模块的功能、稳定性、性能作出积极重大的贡献,拥有多位Committer,成为推动HBase的长远发展的重要力量之一。

云HBase建设

主要是两个体系:

  • 管控体系:由于我们有数千个、甚至数万个HBase集群,所以,我们必须是自动化的。这个体系建设的是怎么去管控好10000个HBase集群,为数万家公司提供云HBase的服务。
  • 内核建设:目前云HBase主要围绕云上构建HBase,需要充分利用云的优势,比如:弹性、资源无限、随时随地、默认有多个可用区及多个地区。我们主要围绕:性能、运维、成本、安全、可用性、功能等方面建设内核。

具体会在每个章节具体论述,由于篇幅较多,本篇博客,只作为指引。
hbase_

场景特性类

HBase的特性比较多,比如:TTL、离散的TTL、多版本、动态列、异步写等等。这些根据具体的场景结合能发挥HBase较大的优势,也会有一些篇幅总结此类,当然也会穿插在云HBase的建设之中。

社区HBase

我们也会积极贡献回社区,我们也会积极跟进社区的新的功能,也会把社区好功能反馈到云HBase中。

后记

我们有很多功能没有放出来,或者说在公测阶段没有,或者还来不及产品化,请一定关注我们的产品发展。此篇博文系列,也将会列出后续云HBase重点的特性、功能点。云HBase团队目的就是让客户能享受阿里巴巴一样的HBase服务,每个公司都能基于云HBase做出自己好的产品。

社群

技术交流钉钉大群 阿里云 HBase+Spark社区 【强烈推荐!】 群内每周进行群直播技术分享及问答

目录
相关文章
|
应用服务中间件 Shell 开发工具
nginx+shell脚本实现一键启用与关闭停机维护页面
nginx+shell脚本实现一键启用与关闭停机维护页面
278 0
QT资源文件-QFile Write/WriteOnly/ReadWrite打开失败说明
在使用QT进行开发过程中,常常会使用qrc(资源文件),比如一些配置文件,图片,图标(icon)等,但是一些没有经验的小伙伴会想着将配置文件的数据进行修改,发现无法以代码的方式对资源文件进行修改。
611 0
|
数据库 数据安全/隐私保护 Windows
|
2月前
|
机器学习/深度学习 自动驾驶 算法
基于深度学习的YOLO框架的7种交通场景识别项目系统【附完整源码+数据集】
在智慧交通和智能驾驶日益普及的今天,准确识别复杂交通场景中的关键元素已成为自动驾驶系统的核心能力之一。传统的图像处理技术难以适应高动态、复杂天气、多目标密集的交通环境,而基于深度学习的目标检测算法,尤其是YOLO(You Only Look Once)系列,因其检测速度快、精度高、可部署性强等特点,在交通场景识别中占据了重要地位。
318 0
基于深度学习的YOLO框架的7种交通场景识别项目系统【附完整源码+数据集】
|
数据采集 监控 搜索推荐
ERP系统中的财务指标与绩效评估解析
【7月更文挑战第25天】 ERP系统中的财务指标与绩效评估解析
511 0
|
6月前
|
Web App开发 编解码 算法
布谷一对一直播源码开发:阿里云视频语音通话社交交友App的必备功能
在当今移动社交领域,一对一视频和语音通话功能已成为用户期待的基础配置。从熟人社交到陌生人交友,从专业咨询到情感陪伴,实时音视频互动能力直接决定了社交App的用户留存和市场竞争力。山东布谷科技将深入探讨一对一直播源码开发高质量一对一视频和语音通话功能的关键要素和技术实现方案。
布谷一对一直播源码开发:阿里云视频语音通话社交交友App的必备功能
|
机器学习/深度学习 算法 C语言
5.2.1 Backbone(特征提取) 5.2.2 Neck(多尺度检测)
这篇文章介绍了YOLOv3目标检测模型中的Backbone(特征提取)部分,详细阐述了使用Darknet53作为骨干网络来提取图像特征的方法,并通过代码示例展示了如何实现Darknet53网络结构以及如何查看不同层级输出特征图的形状,同时还讨论了Neck(多尺度检测)的概念,解释了如何通过特征图的尺寸放大和融合来实现对不同尺寸目标的检测。
西门子S7-200 SMART如何使用状态图表,如何创建、监视、强制、趋势显示
上篇文章中我们学习了S7-200 SMART系统块的组态,本篇我们来介绍在编程软件STEP7-Micro/WIN SMART中如何使用状态图表,以及如何创建、监视、强制、趋势显示。在STEP7-Micro/WIN SMART与PLC之间成功建立通信,并且将程序下载到PLC后,就可以监控和调试程序了。程序状态监控可以监视程序的运行情况,但是如果需要监控的变量较多,不能在程序编辑器中同时显示的时候就需要使用状态图表监控。接下来我们来介绍在STEP7-Micro/WIN SMART如何使用状态图表监控和调试程序。
西门子S7-200 SMART如何使用状态图表,如何创建、监视、强制、趋势显示
|
开发框架 Linux C++
Qt:强大的跨平台C++应用程序开发框架
Qt:强大的跨平台C++应用程序开发框架
454 3