云HBase助力物联网建设

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 MongoDB,独享型 2核8GB
推荐场景:
构建全方位客户视图
云原生多模数据库 Lindorm,多引擎 多规格 0-4节点
简介:

引言

从有线互联网到无线互联网,本质是加强了人与人之间随时随地的关联。下一个互联的时代是万物互联,也就是物联网。有人说,这个是第三次信息革命,不管咋样,这都会产生大量的数据。
举一个例子,杭州市有200w辆汽车(具体肯定比这个多),我们给每辆车安装一个传感器,每隔10s,上传1k的数据量,说明这个车的位置,一些情况。QPS为20w,1年的数据量为:36536024200w1k=5.73P ,如果不做任何的容灾,每个磁盘4T来算,则需要 5.73*1024/4T=1466块磁盘,做一些容灾,则至少需要2000+的磁盘。这些数据蕴含着巨大的价值,分析这些数据后,则会改变整个杭州的交通。

架构

在我们传统架构下,一般会使用关系型数据库,关系型数据库索引结构基本上都是类B+树,随着终端设备数增多,读写压力剧增,读写延迟增大,数据库面临崩溃;其次,关系型数据库也无法做到存储容量无限扩容,目前有一些分库分表的方案,实现起来比较复杂,往往有较多的限制。

物联网最大的特点写入量大,要求延迟低,且数据存量巨大。HBase基于LSM,把磁盘的随机写改为顺序写,写吞吐高,不受SSD随机写入放大干扰,也不受空间放大的干扰。目前HBase非常满足物联网存储需求,存储数T、数P甚至百P的空间,延迟稳定在数毫秒之内,跟Hadoop分析体系有较为深入的结合,满足分析类的需求。具体物理网的大致结构如下:

screenshot
主要流程:
1、一部分实时,直接走MQ,到流式系统,做一些实时的分析,后写入HBase。
2、一部分写入HBase,一般是全量数据,后接入Hadoop/Spark,做一些离线分析,后续结果写入HBase中。
往往在使用HBase时,使用的rowkey设计是:设备ID+地点+xxx+时间xxx

每个云公司,都在前端的一些环节做了很多事情,比如提供硬件支持、协议支持、ECS可以使用一些弹性方案,当然也有不少公司是自己做方案。
针对数据从云HBase到EMR Hadoop/Spark中,目前有两种方案,其一是Hadoop、Spark直接连接云HBase分析;其二是云HBase提供一些导出数据的功能,在EMR中自动生成一张表(目前云HBase在实现中)。


HBase技术交流社区 - 阿里官方“HBase生态+Spark社区大群”点击加入:https://dwz.cn/Fvqv066s

相关实践学习
lindorm多模间数据无缝流转
展现了Lindorm多模融合能力——用kafka API写入,无缝流转在各引擎内进行数据存储和计算的实验。
云数据库HBase版使用教程
  相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情: https://cn.aliyun.com/product/hbase   ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
物联网 分布式数据库 Hbase
《HBase训练营-物联网时代的数据挑战V1》电子版地址
HBase训练营-物联网时代的数据挑战V1
87 0
《HBase训练营-物联网时代的数据挑战V1》电子版地址
|
存储 物联网 大数据
学术界关于HBase在物联网/车联网/互联网/金融/高能物理等八大场景的理论研究
HBase在互联网领域有广泛的应用,比如:互联网的消息系统的存储、订单的存储、搜索原材料的存储、用户画像数据的存储等,除此之外,在其它领域也有非常多的应用。
9049 0
|
存储 物联网 分布式数据库
云HBase独享本盘实例发布,存储成本下降7倍,专为物联网\车联网等大规模结构化存储服务
云HBase独享本盘实例发布,存储成本下降7倍,专为物联网\车联网等大规模结构化存储服务,欢迎咨询
2044 0
|
存储 物联网 分布式数据库
云HBase助力物联网建设
物联网最大的特点写入量大,要求延迟低,且数据存量巨大。云HBase非常满足物联网存储需求,存储数P甚至百P的空间存储需求,延迟稳定在数毫秒之内,跟Hadoop分析体系有较为深入的结合,满足分析类的需求。
5450 0
|
2月前
|
分布式计算 Java Hadoop
java使用hbase、hadoop报错举例
java使用hbase、hadoop报错举例
84 4
|
30天前
|
分布式计算 Hadoop Shell
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
65 4
|
30天前
|
SQL 分布式计算 Hadoop
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
31 3
|
30天前
|
分布式计算 Hadoop Shell
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
55 3
|
30天前
|
SQL 分布式计算 Hadoop
Hadoop-34 HBase 安装部署 单节点配置 hbase-env hbase-site 超详细图文 附带配置文件
Hadoop-34 HBase 安装部署 单节点配置 hbase-env hbase-site 超详细图文 附带配置文件
66 2

热门文章

最新文章