云HBase助力物联网建设

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 MongoDB,独享型 2核8GB
推荐场景:
构建全方位客户视图
简介: 物联网最大的特点写入量大,要求延迟低,且数据存量巨大。云HBase非常满足物联网存储需求,存储数P甚至百P的空间存储需求,延迟稳定在数毫秒之内,跟Hadoop分析体系有较为深入的结合,满足分析类的需求。

引言

从有线互联网到无线互联网,本质是加强了人与人之间随时随地的关联。下一个互联的时代是万物互联,也就是物联网。有人说,这个是第三次信息革命,不管咋样,这都会产生大量的数据。
举一个例子,杭州市有200w辆汽车(具体肯定比这个多),我们给每辆车安装一个传感器,每隔10s,上传1k的数据量,说明这个车的位置,一些情况。QPS为20w,1年的数据量为:36536024200w1k=5.73P ,如果不做任何的容灾,每个磁盘4T来算,则需要 5.73*1024/4T=1466块磁盘,做一些容灾,则至少需要2000+的磁盘。这些数据蕴含着巨大的价值,分析这些数据后,则会改变整个杭州的交通。

架构

在我们传统架构下,一般会使用关系型数据库,关系型数据库索引结构基本上都是类B+树,随着终端设备数增多,读写压力剧增,读写延迟增大,数据库面临崩溃;其次,关系型数据库也无法做到存储容量无限扩容,目前有一些分库分表的方案,实现起来比较复杂,往往有较多的限制。

物联网最大的特点写入量大,要求延迟低,且数据存量巨大。HBase基于LSM,把磁盘的随机写改为顺序写,写吞吐高,不受SSD随机写入放大干扰,也不受空间放大的干扰。目前HBase非常满足物联网存储需求,存储数T、数P甚至百P的空间,延迟稳定在数毫秒之内,跟Hadoop分析体系有较为深入的结合,满足分析类的需求。具体物理网的大致结构如下:
image
(云hbase提供内置Spark,更加方便处理HBase数据,参考: https://help.aliyun.com/document_detail/93899.html

主要流程:
1、一部分实时,直接走MQ,到流式系统,做一些实时的分析,后写入HBase。
2、一部分写入HBase,一般是全量数据,后接入Hadoop/Spark,做一些离线分析,后续结果写入HBase中。
往往在使用HBase时,使用的rowkey设计是:设备ID+地点+xxx+时间xxx

每个云公司,都在前端的一些环节做了很多事情,比如提供硬件支持、协议支持、ECS可以使用一些弹性方案,当然也有不少公司是自己做方案。
针对数据从云HBase到Hadoop/Spark中,目前有两种方案,其一是Spark直接连接云HBase分析;其二是云HBase提供一些导出数据的功能,在Spark中自动生成一张表(目前云HBase在实现中)。

云HBase地址https://cn.aliyun.com/product/hbase

社群

技术交流钉钉大群 阿里云 HBase+Spark社区 【强烈推荐!】 群内每周进行群直播技术分享及问答

目录
相关文章
|
物联网 分布式数据库 Hbase
《HBase训练营-物联网时代的数据挑战V1》电子版地址
HBase训练营-物联网时代的数据挑战V1
153 16
《HBase训练营-物联网时代的数据挑战V1》电子版地址
|
存储 物联网 大数据
学术界关于HBase在物联网/车联网/互联网/金融/高能物理等八大场景的理论研究
HBase在互联网领域有广泛的应用,比如:互联网的消息系统的存储、订单的存储、搜索原材料的存储、用户画像数据的存储等,除此之外,在其它领域也有非常多的应用。
9224 1
|
存储 物联网 分布式数据库
|
存储 物联网 分布式数据库
云HBase独享本盘实例发布,存储成本下降7倍,专为物联网\车联网等大规模结构化存储服务
云HBase独享本盘实例发布,存储成本下降7倍,专为物联网\车联网等大规模结构化存储服务,欢迎咨询
2141 0
|
6月前
|
传感器 人工智能 物联网
健康监测设备的技术革命:AI+物联网如何让你随时掌握健康数据?
健康监测设备的技术革命:AI+物联网如何让你随时掌握健康数据?
824 19
|
10月前
|
存储 安全 物联网
政府在推动物联网技术标准和规范的统一方面可以发挥哪些作用?
政府在推动物联网技术标准和规范的统一方面可以发挥哪些作用?
338 60
|
10月前
|
安全 物联网 物联网安全
制定统一的物联网技术标准和规范的难点有哪些?
制定统一的物联网技术标准和规范的难点有哪些?
379 58
|
10月前
|
存储 数据采集 物联网
物联网技术在物流领域的应用会遇到哪些挑战?
物联网技术在物流领域的应用会遇到哪些挑战?
555 60
|
10月前
|
供应链 物联网 区块链
探索未来技术潮流:区块链、物联网、虚拟现实的融合与创新
【10月更文挑战第41天】随着科技的不断进步,新技术如区块链、物联网、虚拟现实等正在逐步渗透到我们的日常生活中。本文将深入探讨这些技术的发展趋势和应用场景,以及它们如何相互融合,共同推动社会的进步。我们将通过具体的代码示例,展示这些技术在实际应用中的潜力和价值。无论你是科技爱好者,还是对未来充满好奇的探索者,这篇文章都将为你打开一扇通往未来的窗口。
208 56