Hbase日志存储——以便利店和无人超市业务为例-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

Hbase日志存储——以便利店和无人超市业务为例

2019-12-23 10:02:04 1442 0

转载自:http://www.hbase.group/article/19

随着去年,马云提出新零售、刘强东提出无界零售等,线上电子商务公司认为线上流量红利已经殆尽,开始纷纷正式转型进入线下。阿里采取入股高鑫零售,腾讯京东联手入股永辉超市以及步步高等,正式开启线下零售大战。

在此背景下,公司正式开启便利店以及无人超市业务,与此同时参与到该项目当中。主要负责人脸进出门业务,对人脸数据进行存储与管理。由于hbase在大量数据写入的时候有很大的优势,因此考虑使用hbase;除此之外,hbase存储的数据可以接入phoenix,来实现数据的分析,因此本案例主要介绍公司便利店以及无人超市等人脸日志存储。

image.png

根据上述门店业务,首先需要考虑的是每次一个人刷脸,算法进行人脸识别的时候是多线程多任务进行识别以达到尽快地识别出来,因此会有很多次识别结果,只要其中一次识别结果成功则定义为成功,即可开门。

在此业务场景下,可以想到每个人的一次进门,会有数十条识别数据;当用户量达到一定程度的时候,因此数据量是非常庞大的。而且非常符合hbase的高写入场景,所以非常适合选择hbase作为存储,同时hbase最终存储的结果也可以导出,做分析。

下面主要列举了三点在无人超市和便利店场景下的hbase使用中的关键点。

1.关键点一:hbase的rowkey设计

idx_$num_$Uuid,其中$num=99999999999L-当前时间,$Uuid是随机生成uuid:这样设计的目地是为了能够保证最新的数据是呈现在最上面的。

2.关键点二:hbase的相关表设计

(1)设计基本的人脸采集日志表、识别日志表,用来存储所有的人脸采集日志信息、识别日志信息

(2)设计若干索引表(时间维度、业务维度、用户维度等等),索引表只存储主表的rowkey:这样做的目地是为了在查询的时候先去查询相关索引表,然后再根据索引表获取到的rowkey来获取主表信息,解决hbase不像关系型数据库一样,能够提供表之间的关联上的痛点。

3.关键点三:hbase数据分析

(1)可以将hbase中的数据同步接入phoenix来做分析以及报表处理,供运营决策。

(2)在报表方面可以考虑接入phoenix之后导入到关系型数据库中再接入tableu做报表输出。

(3)除此之外hbase数据在做分析的时候还需要结合hive来对数据进行清洗:因为每一个用户每次进门都有多次识别结果,应该选择当前最近时间段内的最后一条成功的识别结果作为该用户的进门数据,需要使用上hive开窗函数进行聚合处理。

取消 提交回答
全部回答(0)
相关问答

3

回答

咨询下,我能直接将serverless的api响应结果,按照对应的格式直接存储到日志服务吗?

2022-07-06 10:53:46 2795浏览量 回答数 3

1

回答

HBase的三维有序存储中的三维是指什么?

2021-12-06 21:35:17 189浏览量 回答数 1

1

回答

HBase中的文件类型HFile的存储格式是什么?

2021-12-06 16:23:53 172浏览量 回答数 1

1

回答

JSON.stringify()函数的space参数可以使用非数字吗?

2021-12-01 12:11:20 375浏览量 回答数 1

0

回答

Hbase集群存储的可用性是AP,异步复制不能保证数据的强一致性

2019-08-16 21:20:46 492浏览量 回答数 0

1

回答

求问:关于oss标准存储包的流量问题

2019-05-24 15:22:29 2730浏览量 回答数 1

0

回答

支持文本以及JSON格式存储吗?

2019-01-15 11:56:21 356浏览量 回答数 0

1

回答

mongo的pass服务 怎么看日志

2017-03-22 11:41:51 1993浏览量 回答数 1

1

回答

java存储日志到mongodb问题

2016-02-01 13:48:21 3091浏览量 回答数 1

2

回答

oss上存储文件名含中文的文件下载不了

2015-06-01 21:53:53 8637浏览量 回答数 2
+关注
文章
问答
问答排行榜
最热
最新
相关电子书
更多
京东3D数据平台
立即下载
基于MaxCompute打造轻盈的人人车移动端数据平台
立即下载
MongoDB处理大量级用户行为数据-企业数字营销平台应用
立即下载