云HBase独享本盘实例发布,存储成本下降7倍,专为物联网\车联网等大规模结构化存储服务

简介: 云HBase独享本盘实例发布,存储成本下降7倍,专为物联网\车联网等大规模结构化存储服务,欢迎咨询

前言

在云HBase商业化几个月内,不少物联网客户找到我们,说我们有100T,1P的HBase,想迁移到云HBase成本怎么样,我们算了一下100T的集群为:120w每年,1P的集群为1200w左右。在此报价的基础之上,客户是比较难以接受的。另外还有一些基于云盘构建的HBase集群,有好几百T的存储量,费用动辄都是三五百万。 为此,我们谋求一个低成本的方案,在大量的调研工作及咨询客户后,我们做一款以本地盘作为直接的存储的集群。

一个实际的例子

某车联网公司需要做车联网的存储,数据要实时存放到云上。他有100w辆车,每10s上传一次信息,每次信息1KB(压缩过的),则一年的数据存储大致为3P左右,这是一个海量的存储量。且客户还需要随机的分析一些车辆的信息,包括轨迹。
image

基本架构

Master使用云盘作为系统盘,这样成本最低,Slave节点选用本地盘节点,作为数据存储,并每个节点上使用三个副本保障数据的高可用性
image

  • 我们直接对比前后的方案:

    • 直接单价每GB的成本从 0.7元下降到0.1元左右
    • 100T包括cpu内存等资源从 120w左右下降到 35w左右

image

本地盘构建的HBase与高效云盘构建的HBase 对比

image

  • 本地盘 比云磁盘 起步更高,基本是 50T的存储起步
  • 本地盘规格的集群的 计算与存储是固定的,不能动态扩容,但是可以添加节点

此本地盘实例的HBase非常类似于客户线下构建的HBase集群,阿里集团目前24cpu96g 12块6T及32cpu128G 12块6T的对应的规格比较普遍。另外所有的资源都是独享的。

  • 数据可靠性,平台保障有8个9的数据可靠性
  • 数据可用性,平台保障有99.9%的数据可用性

由于本地盘实例的规格 数据要求比较高,适合较大的客户,在一定的时间内,数据是会超过100T的。否则,小于20T以下,还是建议使用高效云盘比较划算。

写在最后

欢迎有超过50T HBase需求的客户联系我们,此产品形态专门为 物联网、车联网及大规模存储的客户服务。

相关文章
|
消息中间件 网络协议 物联网
MQTT常见问题之物联网设备端申请动态注册时MQTT服务不可用如何解决
MQTT(Message Queuing Telemetry Transport)是一个轻量级的、基于发布/订阅模式的消息协议,广泛用于物联网(IoT)中设备间的通信。以下是MQTT使用过程中可能遇到的一些常见问题及其答案的汇总:
|
存储 安全 物联网
车联网行业更换物联网卡复杂性
车联网行业更换物联网卡(IoT SIM卡)的复杂程度主要取决于多个因素,包括车辆数量、车辆分布、现有系统的集成度、以及物联网服务提供商的支持程度等。下面是一些可能影响车联网行业更换物联网卡复杂性的关键因素:
|
11月前
|
存储 关系型数据库 分布式数据库
【赵渝强老师】HBase的物理存储结构
本文介绍了HBase的存储结构,包括逻辑与物理存储结构。物理存储主要涉及StoreFile、HFile和HLog日志。HFile是HBase数据存储的核心格式,包含Data块、Meta块、File Info块等六部分,支持压缩以优化存储。HLog(预写日志)记录数据变更,确保数据可靠性,并在Region Server故障时用于恢复。最后,文章详细描述了HBase的写数据流程:先写入WAL日志,再写入MemStore,最终通过Flush操作将数据持久化到HFile中。
611 2
|
11月前
|
存储 关系型数据库 分布式数据库
【赵渝强老师】HBase的逻辑存储结构
HBase的逻辑存储结构包括命名空间、表和列族。命名空间类似关系型数据库中的数据库,用于逻辑划分和隔离数据;表以RowKey组织数据并按字典序排列,分为多个Region实现分布式存储;列族包含列且无需预先定义,由MemStore缓存写入数据,定期刷新生成Store File。文章通过视频和代码示例详细讲解了各部分的操作与功能。
395 2
|
安全 物联网 数据安全/隐私保护
车联网:物联网在交通领域的革新
【6月更文挑战第1天】车联网技术为驾驶带来革命性变化,实现车辆与外界的无缝连接,提升行车安全与便利。通过实时路况信息,司机可规划最佳路线,避免拥堵;车辆间通信能预警危险,增强安全;远程控制功能让车主享受舒适驾乘环境。示例代码展示如何获取车辆位置。尽管面临数据安全挑战,车联网在车辆管理与维护上的潜力不容忽视,预示着更智能、安全的未来出行。
274 3
|
存储 监控 分布式数据库
百亿级存储架构: ElasticSearch+HBase 海量存储架构与实现
本文介绍了百亿级数据存储架构的设计与实现,重点探讨了ElasticSearch和HBase的结合使用。通过ElasticSearch实现快速检索,HBase实现海量数据存储,解决了大规模数据的高效存储与查询问题。文章详细讲解了数据统一接入、元数据管理、数据一致性及平台监控等关键模块的设计思路和技术细节,帮助读者理解和掌握构建高性能数据存储系统的方法。
百亿级存储架构: ElasticSearch+HBase 海量存储架构与实现
|
安全 物联网 数据挖掘
选择物联网卡如何筛选服务提供商呢
在选择物联网卡服务提供商时,您需要考虑多个因素以确保所选服务商能够满足您的业务需求,同时提供稳定可靠的服务。以下是一些关键步骤和建议,帮助您筛选物联网卡服务提供商:
|
监控 自动驾驶 安全
物联网卡在车联网中的作用
物联网卡(IoT SIM卡)在车联网中发挥着至关重要的作用,它是连接车辆与互联网、车辆与车辆(V2V)、车辆与基础设施(V2I)之间的桥梁。以下详细阐述了物联网卡在车联网中的几个主要作用:
|
存储 NoSQL 大数据
大数据存储:HBase与Cassandra的对比
【7月更文挑战第16天】HBase和Cassandra作为两种流行的分布式NoSQL数据库,在数据模型、一致性模型、数据分布、查询语言和性能等方面各有千秋。HBase适用于需要强一致性和与Hadoop生态系统集成的场景,如大规模数据处理和分析。而Cassandra则更适合需要高可用性和灵活查询能力的场景,如分布式计算、云计算和大数据应用等。在实际应用中,选择哪种数据库取决于具体的需求和场景。希望本文的对比分析能够帮助读者更好地理解这两种数据库,并做出明智的选择。
1286 1
|
存储 Java 分布式数据库
使用Spring Boot和HBase实现大数据存储
使用Spring Boot和HBase实现大数据存储
1268 1