Hbase日志存储——以便利店和无人超市业务为例-问答-阿里云开发者社区-阿里云

开发者社区> pandacats> 正文

Hbase日志存储——以便利店和无人超市业务为例

2019-12-23 10:02:04 725 0

转载自:http://www.hbase.group/article/19

随着去年,马云提出新零售、刘强东提出无界零售等,线上电子商务公司认为线上流量红利已经殆尽,开始纷纷正式转型进入线下。阿里采取入股高鑫零售,腾讯京东联手入股永辉超市以及步步高等,正式开启线下零售大战。

在此背景下,公司正式开启便利店以及无人超市业务,与此同时参与到该项目当中。主要负责人脸进出门业务,对人脸数据进行存储与管理。由于hbase在大量数据写入的时候有很大的优势,因此考虑使用hbase;除此之外,hbase存储的数据可以接入phoenix,来实现数据的分析,因此本案例主要介绍公司便利店以及无人超市等人脸日志存储。

image.png

根据上述门店业务,首先需要考虑的是每次一个人刷脸,算法进行人脸识别的时候是多线程多任务进行识别以达到尽快地识别出来,因此会有很多次识别结果,只要其中一次识别结果成功则定义为成功,即可开门。

在此业务场景下,可以想到每个人的一次进门,会有数十条识别数据;当用户量达到一定程度的时候,因此数据量是非常庞大的。而且非常符合hbase的高写入场景,所以非常适合选择hbase作为存储,同时hbase最终存储的结果也可以导出,做分析。

下面主要列举了三点在无人超市和便利店场景下的hbase使用中的关键点。

1.关键点一:hbase的rowkey设计

idx_$num_$Uuid,其中$num=99999999999L-当前时间,$Uuid是随机生成uuid:这样设计的目地是为了能够保证最新的数据是呈现在最上面的。

2.关键点二:hbase的相关表设计

(1)设计基本的人脸采集日志表、识别日志表,用来存储所有的人脸采集日志信息、识别日志信息

(2)设计若干索引表(时间维度、业务维度、用户维度等等),索引表只存储主表的rowkey:这样做的目地是为了在查询的时候先去查询相关索引表,然后再根据索引表获取到的rowkey来获取主表信息,解决hbase不像关系型数据库一样,能够提供表之间的关联上的痛点。

3.关键点三:hbase数据分析

(1)可以将hbase中的数据同步接入phoenix来做分析以及报表处理,供运营决策。

(2)在报表方面可以考虑接入phoenix之后导入到关系型数据库中再接入tableu做报表输出。

(3)除此之外hbase数据在做分析的时候还需要结合hive来对数据进行清洗:因为每一个用户每次进门都有多次识别结果,应该选择当前最近时间段内的最后一条成功的识别结果作为该用户的进门数据,需要使用上hive开窗函数进行聚合处理。

取消 提交回答
全部回答(0)
相关问答

10

回答

【精品问答合集】Hbase热门问答

hbase小能手 2019-05-29 14:37:26 120246浏览量 回答数 10

38

回答

干货分享:DBA专家门诊一期:索引与sql优化问题汇总

xiaofanqie 2014-12-25 15:13:38 91767浏览量 回答数 38

17

回答

【大咖问答】对话PostgreSQL 中国社区发起人之一,阿里云数据库高级专家 德哥

阿里ACE 彭飞 2019-07-10 09:36:10 969093浏览量 回答数 17

110

回答

OSS存储服务-客户端工具

newegg11 2012-05-17 15:37:18 292295浏览量 回答数 110

23

回答

【云服务器分享】网站访问速度快才是硬道理

dreamdoo 2012-10-15 10:15:02 85190浏览量 回答数 23

3

回答

HBase mslab.chunksize和G1HeapRegionSize间是否有关系

yauso 2019-07-17 17:14:06 114614浏览量 回答数 3

13

回答

【云服务器分享】如何节省网站流量

dreamdoo 2012-10-15 10:36:09 80125浏览量 回答数 13

62

回答

磁盘原地扩容功能4月22日正式上线

艳馨 2015-04-21 23:40:33 96089浏览量 回答数 62

23

回答

【精品问答合集】Redis热门问答

李博 bluemind 2019-05-29 16:36:15 126301浏览量 回答数 23

2

回答

区域选择帮助

fanyue88888 2012-12-07 15:54:30 204008浏览量 回答数 2
+关注
0
文章
776
问答
推荐问答
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载