云HBase集群的规划

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 MongoDB,独享型 2核8GB
推荐场景:
构建全方位客户视图
简介: 在服务客户的时候,经常会被问到,我该选择什么配置的HBase呢?今天我们就来好好谈谈这个问题。

概述

在服务客户的时候,经常会被问到,我该选择什么配置的HBase呢?今天我们就来好好谈谈这个问题,希望能说清楚

基本架构

目前云HBase的基本架构为:
image
从架构图中,可以看出Master是主备的,且不存任何业务数据的;core节点至少2台,第一个节点为了节约节点,部署了一个zk,Core节点可以一直添加到100或者500个节点左右。

Master节点选择

Master节点的规格:2cpu4g起步,主要看集群的规格。参考以下的配置

core的规模 master选择
<=4台 2cpu4g
4台 4cpu8g
10 8cpu16g
20 16cpu32g
50 16cpu64g

Core节点选择

core阶段选择:4cpu8g起步,最大32cpu128g
以1KB为准:

QPS core的个数及选择
0 ~ 1w 2台 4cpu8g
1w ~ 10w >=2 8cpu32g 可以按照每台2w算,批量除外
10w ~5000w >=2 16cpu64g 可以按照每台4w算,批量除外

由于每个节点挂4T的存储,如果QPS较少,存储较多。可以选择多台4cpu16g的规格或者8cpu32g

存储介质选择

对于存储,我们目前有三个介质,第一个是SSD介质,第二是高效介质(使用SSD与SATA的混合),第三个介质是OSS,也就是直接基于我们的OSS服务。这个介质的特点就是:最热、一般热、温、冷的数据

冷热程度 介质类型 提供方式 业务类型
高性能 SSD云盘 HDFS方式,挂盘,包量 在线业务,延迟要求低,99.9 80ms以下
高效能 高效云盘 HDFS方式,挂盘,包量 在线业务,延迟要求一般,99.9 200ms以下
冷数据 OSS 接口方式提供,按需计费 准在线业务,主要存储冷数据,特殊的压缩算法、高压缩比例

后续的发展

  • 目前OSS还没有上线,预计2018年6-7月上线,上线后完全弹性计费
  • 针对SSD及高效的存储,目前还是采取磁盘的方式挂载,可以扩容及缩容;后续会提供完全弹性的SSD及高性能存储。 也就是本地没有HDFS。

社群

技术交流钉钉大群【强烈推荐!】 群内每周进行群直播技术分享及问答

目录
相关文章
|
Java API 网络性能优化
NoClassDefFoundError: ch/qos/logback/classic/spi/ThrowableProxy
报错日志: java.lang.NoClassDefFoundError: ch/qos/logback/classic/spi/ThrowableProxy at ch.
11418 0
|
6月前
|
SQL 存储 安全
MySQL:Prepared Statement 预处理语句
MySQL 预处理语句是一种高效、安全的执行 SQL 查询的方法。通过预编译 SQL 语句,可以显著提升查询性能,并有效防止 SQL 注入攻击。掌握预处理语句的使用方法,对于优化数据库操作和提高应用程序的安全性具有重要意义。希望本文能帮助你更好地理解和使用 MySQL 预处理语句。
307 7
|
7月前
|
云安全 安全 Cloud Native
阿里云 SASE 2.0 能力迭代|构建一体化办公数据安全解决方案
阿里云 SASE 2.0 能力迭代|构建一体化办公数据安全解决方案
|
11月前
|
消息中间件 分布式计算 大数据
大数据-128 - Flink 并行度设置 细节详解 全局、作业、算子、Slot
大数据-128 - Flink 并行度设置 细节详解 全局、作业、算子、Slot
660 0
|
SQL 运维 数据库
MSSQL性能调优实战:索引策略、查询优化与并发控制的精细操作
在Microsoft SQL Server(MSSQL)的日常运维与优化中,实现高效、稳定的数据库性能是每位数据库管理员和开发者的核心任务
Java:如何轻松获取当前执行的方法名
在Java中获取当前执行的方法名,可以通过`Thread.currentThread().getStackTrace()`得到堆栈跟踪元素数组,提取第一个元素的`methodName`。也可使用反射机制,先获取目标类`Class`对象,然后用`getDeclaredMethod()`找到目标方法,最后用`getName()`获取方法名。两种方法都能实现需求,具体选择取决于应用场景。想获取源码可回复**001**。更多内容,敬请关注!
Java:如何轻松获取当前执行的方法名
|
NoSQL Java 关系型数据库
基于java swing和mysql实现的电影票购票管理系统(源码+数据库+运行指导视频)
基于java swing和mysql实现的电影票购票管理系统(源码+数据库+运行指导视频)
483 0
|
Ubuntu Unix Shell
Nacos 国内镜像
Nacos 国内镜像
2403 1
如何将Doris的COLLECT_LIST结果用在另一个查询的条件语句里
【4月更文挑战第21天】如何将Doris的COLLECT_LIST结果用在另一个查询的条件语句里
380 0