云HBase独享本盘实例发布,存储成本下降7倍,专为物联网\车联网等大规模结构化存储服务

简介: 云HBase独享本盘实例发布,存储成本下降7倍,专为物联网\车联网等大规模结构化存储服务,欢迎咨询

前言

在云HBase商业化几个月内,不少物联网客户找到我们,说我们有100T,1P的HBase,想迁移到云HBase成本怎么样,我们算了一下100T的集群为:120w每年,1P的集群为1200w左右。在此报价的基础之上,客户是比较难以接受的。另外还有一些基于云盘构建的HBase集群,有好几百T的存储量,费用动辄都是三五百万。 为此,我们谋求一个低成本的方案,在大量的调研工作及咨询客户后,我们做一款以本地盘作为直接的存储的集群。

一个实际的例子

某车联网公司需要做车联网的存储,数据要实时存放到云上。他有100w辆车,每10s上传一次信息,每次信息1KB(压缩过的),则一年的数据存储大致为3P左右,这是一个海量的存储量。且客户还需要随机的分析一些车辆的信息,包括轨迹。
image

基本架构

Master使用云盘作为系统盘,这样成本最低,Slave节点选用本地盘节点,作为数据存储,并每个节点上使用三个副本保障数据的高可用性
image

  • 我们直接对比前后的方案:

    • 直接单价每GB的成本从 0.7元下降到0.1元左右
    • 100T包括cpu内存等资源从 120w左右下降到 35w左右

image

本地盘构建的HBase与高效云盘构建的HBase 对比

image

  • 本地盘 比云磁盘 起步更高,基本是 50T的存储起步
  • 本地盘规格的集群的 计算与存储是固定的,不能动态扩容,但是可以添加节点

此本地盘实例的HBase非常类似于客户线下构建的HBase集群,阿里集团目前24cpu96g 12块6T及32cpu128G 12块6T的对应的规格比较普遍。另外所有的资源都是独享的。

  • 数据可靠性,平台保障有8个9的数据可靠性
  • 数据可用性,平台保障有99.9%的数据可用性

由于本地盘实例的规格 数据要求比较高,适合较大的客户,在一定的时间内,数据是会超过100T的。否则,小于20T以下,还是建议使用高效云盘比较划算。

写在最后

欢迎有超过50T HBase需求的客户联系我们,此产品形态专门为 物联网、车联网及大规模存储的客户服务。

相关文章
|
存储 NoSQL 分布式数据库
Hbase+ES和MongoDB存储大数据的选用
Hbase+ES和MongoDB存储大数据的选用
1033 0
|
12月前
|
存储 关系型数据库 分布式数据库
【赵渝强老师】HBase的物理存储结构
本文介绍了HBase的存储结构,包括逻辑与物理存储结构。物理存储主要涉及StoreFile、HFile和HLog日志。HFile是HBase数据存储的核心格式,包含Data块、Meta块、File Info块等六部分,支持压缩以优化存储。HLog(预写日志)记录数据变更,确保数据可靠性,并在Region Server故障时用于恢复。最后,文章详细描述了HBase的写数据流程:先写入WAL日志,再写入MemStore,最终通过Flush操作将数据持久化到HFile中。
677 2
|
12月前
|
存储 关系型数据库 分布式数据库
【赵渝强老师】HBase的逻辑存储结构
HBase的逻辑存储结构包括命名空间、表和列族。命名空间类似关系型数据库中的数据库,用于逻辑划分和隔离数据;表以RowKey组织数据并按字典序排列,分为多个Region实现分布式存储;列族包含列且无需预先定义,由MemStore缓存写入数据,定期刷新生成Store File。文章通过视频和代码示例详细讲解了各部分的操作与功能。
443 2
|
存储 监控 分布式数据库
百亿级存储架构: ElasticSearch+HBase 海量存储架构与实现
本文介绍了百亿级数据存储架构的设计与实现,重点探讨了ElasticSearch和HBase的结合使用。通过ElasticSearch实现快速检索,HBase实现海量数据存储,解决了大规模数据的高效存储与查询问题。文章详细讲解了数据统一接入、元数据管理、数据一致性及平台监控等关键模块的设计思路和技术细节,帮助读者理解和掌握构建高性能数据存储系统的方法。
百亿级存储架构: ElasticSearch+HBase 海量存储架构与实现
|
存储 NoSQL 大数据
大数据存储:HBase与Cassandra的对比
【7月更文挑战第16天】HBase和Cassandra作为两种流行的分布式NoSQL数据库,在数据模型、一致性模型、数据分布、查询语言和性能等方面各有千秋。HBase适用于需要强一致性和与Hadoop生态系统集成的场景,如大规模数据处理和分析。而Cassandra则更适合需要高可用性和灵活查询能力的场景,如分布式计算、云计算和大数据应用等。在实际应用中,选择哪种数据库取决于具体的需求和场景。希望本文的对比分析能够帮助读者更好地理解这两种数据库,并做出明智的选择。
1347 1
|
存储 Java 分布式数据库
使用Spring Boot和HBase实现大数据存储
使用Spring Boot和HBase实现大数据存储
1357 1
|
存储 Java 分布式数据库
HBase构建图片视频数据的统一存储检索
HBase构建图片视频数据的统一存储检索
|
存储 大数据 分布式数据库
使用Apache HBase进行大数据存储:技术解析与实践
【6月更文挑战第7天】Apache HBase,一个基于HDFS的列式存储NoSQL数据库,提供高可靠、高性能的大数据存储。其特点是列式存储、可扩展至PB级数据、低延迟读写及多版本控制。适用场景包括大规模数据存储、实时分析、日志存储和推荐系统。实践包括集群环境搭建、数据模型设计、导入、查询及性能优化。HBase在大数据存储领域扮演关键角色,未来有望在更多领域发挥作用。
|
存储 人工智能 达摩院
带你读《云存储应用白皮书》之29:2. 物联网大数据存储解决方案
带你读《云存储应用白皮书》之29:2. 物联网大数据存储解决方案
537 18
|
存储 NoSQL 分布式数据库
分布式NoSQL列存储数据库Hbase(一)Hbase的功能与应用场景、基本设计思想
分布式NoSQL列存储数据库Hbase(一)Hbase的功能与应用场景、基本设计思想
902 0