高可用Redis(六)：瑞士军刀之bitmap，HyperLoglog和GEO-阿里云开发者社区

高可用Redis(六)：瑞士军刀之bitmap，HyperLoglog和GEO

2018-10-13 1557

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

本文涉及的产品

云数据库 Tair（兼容Redis），内存型 2GB

Redis 开源版，标准版 2GB

简介： 1.bitmap位图1.1 bitmap位图的概念首先来看一个例子，字符串big，字母b的ASCII码为98，转换成二进制为 01100010字母i的ASCII码为105，转换成二进制为 01101001字母g的ASCII码为103，转换成二进制为 01100111如果在Redis中，设...

1.bitmap位图

1.1 bitmap位图的概念

首先来看一个例子，字符串big，

字母b的ASCII码为98，转换成二进制为 01100010
字母i的ASCII码为105，转换成二进制为 01101001
字母g的ASCII码为103，转换成二进制为 01100111

如果在Redis中，设置一个key，其值为big，此时可以get到big这个值，也可以获取到 big的ASCII码每一个位对应的值，也就是0或1

例如：

127.0.0.1:6379> set hello big
OK
127.0.0.1:6379> getbit hello 0      # b的二进制形式的第1位，即为0
(integer) 0
127.0.0.1:6379> getbit hello 1      # b的二进制形式的第2位，即为1
(integer) 1

big长度为3个字节，对应的长度为24位，使用getbit命令可以获取到big对应的位的对应的值

所以Redis是可以直接对位进行操作的

1.2 bitmap的常用命令

1.2.1 setbit命令

setbit key offset vlaue         给位图指定索引设置值

例子：

127.0.0.1:6379> set hello big       # 设置键值对，key为'hello',value为'big'
OK
127.0.0.1:6379> setbit hello 7 1    # 把hello二进制形式的第8位设置为1，之前的ASCII码为98,现在改为99，即把b改为c
(integer) 0                         # 返回的是之前这个位上的值
127.0.0.1:6379> get hello           # 修改之后，获取'hello'的值，为'cig'
"cig"

上面big的长度只有24位，如果使用setbit命令时，指定的位大于目标的长度时

127.0.0.1:6379> setbit hello 50 1
(integer) 0
127.0.0.1:6379> get hello
"cig\x00\x00\x00 "

从第25开始到第49位，中间用0来填充，第50位才会被设置为1

1.2.2 getbit命令

getbit key offset           获取位图指定索引的值

例子：

127.0.0.1:6379> getbit hello 25
(integer) 0
127.0.0.1:6379> getbit hello 49
(integer) 0
127.0.0.1:6379> getbit hello 50
(integer) 1

1.2.3 bitcount命令

bitcount key [start end]        获取位图指定范围(start到end,单位为字节，如果不指定就是获取全部)位值为1的个数

例子：

127.0.0.1:6379> bitcount hello
(integer) 14
127.0.0.1:6379> bitcount hello 0 23
(integer) 14

1.2.4 bitop命令

bitop op dtstkey key [key...]       做多个bitmap的and(交集),or(并集),not(非),xor(异或)操作并将结果保存在destkey中
bitpos key targetBit [start] [end]  计算位图指定范围(start到end,单位为字节，如果不指定就是获取全部)第一个偏移量对应的值等于targetBit的位置

1.3 bitmap位图应用

如果一个网站有1亿用户，假如user_id用的是整型，长度为32位，每天有5千万独立用户访问，如何判断是哪5千万用户访问了网站

1.3.1 方式一：用set来保存

使用set来保存数据运行一天需要占用的内存为

32bit * 50000000 = (4 * 50000000) / 1024 /1024 MB，约为200MB

运行一个月需要占用的内存为6G，运行一年占用的内存为72G

30 * 200 = 6G

1.3.2 方式二：使用bitmap的方式

如果user_id访问网站，则在user_id的索引上设置为1，没有访问网站的user_id，其索引设置为0，此种方式运行一天占用的内存为

1 * 100000000 = 100000000 / 1014 /1024/ 8MB，约为12.5MB

运行一个月占用的内存为375MB，一年占用的内存容量为4.5G

由此可见，使用bitmap可以节省大量的内存资源

1.4 bitmap使用经验

bitmap是string类型，单个值最大可以使用的内存容量为512MB
setbit时是设置每个value的偏移量，可以有较大耗时
bitmap不是绝对好，用在合适的场景最好

2.HyperLoglog

2.1 HyperLoglog简介

基于HyperLogLog算法，极小空间完成独立数量统计

维基百科地址

2.2 常用命令

pfadd key element [element...]                  向hyperloglog添加元素
pfcount key [key...]                            计算hyperloglog的独立总数
prmerge destkey sourcekey [sourcekey...]        合并多个hyperloglog

例子：

127.0.0.1:6379> pfadd unique_ids1 'uuid_1' 'uuid_2' 'uuid_3' 'uuid_4'       # 向unique_ids1中添加4个元素
(integer) 1
127.0.0.1:6379> pfcount unique_ids1         # 查看unique_ids1中元素的个数
(integer) 4
127.0.0.1:6379> pfadd unique_ids1 'uuid_1' 'uuid_2' 'uuid_3' 'uuid_10'      # 再次向unique_ids1中添加4个元素
(integer) 1
127.0.0.1:6379> pfcount unique_ids1         # 由于两次添加的value有重复，所以unique_ids1中只有5个元素
(integer) 5
127.0.0.1:6379> pfadd unique_ids2 'uuid_1' 'uuid_2' 'uuid_3' 'uuid_4'       # 向unique_ids2中添加4个元素
(integer) 1
127.0.0.1:6379> pfcount unique_ids2         # 查看unique_ids2中元素的个数
(integer) 4
127.0.0.1:6379> pfadd unique_ids2 'uuid_4' 'uuid_5' 'uuid_6' 'uuid_7'       # 再次向unique_ids2中添加4个元素
(integer) 1
127.0.0.1:6379> pfcount unique_ids2         # 再次查看unique_ids2中元素的个数，由于两次添加的元素中有一个重复，所以有7个元素
(integer) 7
127.0.0.1:6379> pfmerge unique_ids1 unique_ids2     # 合并unique_ids1和unique_ids2
OK
127.0.0.1:6379> pfcount unique_ids1         # unique_ids1和unique_ids2中有重复元素，所以合并后的hyperloglog中只有8个元素
(integer) 8

2.3 HyperLoglog内存消耗(百万独立用户)

例子：

127.0.0.1:6379> flushall            # 清空Redis中所有的key和value
OK
127.0.0.1:6379> info                # 查看Redis占用的内存量
...省略
# Memory
used_memory:833528
used_memory_human:813.99K           # 此时Redis中没有任何键值对，占用814k内存
used_memory_rss:5926912
used_memory_rss_human:5.65M
used_memory_peak:924056
used_memory_peak_human:902.40K
total_system_memory:1023938560
total_system_memory_human:976.50M
used_memory_lua:37888
used_memory_lua_human:37.00K
maxmemory:0
maxmemory_human:0B
maxmemory_policy:noeviction
mem_fragmentation_ratio:7.11
mem_allocator:jemalloc-3.6.0
...省略

运行如下python代码：

import redis
import time

client = redis.StrictRedis(host='192.168.81.101',port=6379)
key = 'unique'
start_time = time.time()

for i in range(1000000):
    client.pfadd(key,i)

等待python代码运行完成，再次查看Redis占用的内存数

127.0.0.1:6379> info
...省略
# Memory
used_memory:849992
used_memory_human:830.07K
used_memory_rss:5939200
used_memory_rss_human:5.66M
used_memory_peak:924056
used_memory_peak_human:902.40K
total_system_memory:1023938560
total_system_memory_human:976.50M
used_memory_lua:37888
used_memory_lua_human:37.00K
maxmemory:0
maxmemory_human:0B
maxmemory_policy:noeviction
mem_fragmentation_ratio:6.99
mem_allocator:jemalloc-3.6.0
...省略

可以看到，使用hyperloglog向redis中存入100万条数据，需占用的内存为

830.07K - 813.99K约为16k

占用的内存很少。

当然天下没有免费的午餐，hyperloglog也有非常明显的局限性

首先，hyperloglog有一定的错误率，在使用hyperloglog进行数据统计的过程中，hyperloglog给出的数据不一定是对的
按照维基百科的说法，使用hyperloglog处理10亿条数据，占用1.5Kb内存时，错误率为2%
其次，没法从hyperloglog中取出单条数据，这很容易理解，使用16KB的内存保存100万条数据，此时还想把100万条数据取出来，显然是不可能的

2.4 HyperLoglog注意事项

使用hyperloglog进行数据统计时，需要考虑三个因素：

1.是否需要很少的内存去解决问题，
2.是否能容忍错误
3.是否需要单条数据

3.GEO

3.1 GEO简介

GEO即地址信息定位
可以用来存储经纬度，计算两地距离，范围计算等

如上图中，计算北京到天津两地之间的距离

3.2 GEO常用命令

3.2.1 geoadd命令

geoadd key longitude latitude member [longitude latitude member...]     增加地理位置信息

如上图是5个城市经纬度相关数据

127.0.0.1:6379> geoadd cities:locations 116.28 39.55 beijing                # 添加北京的经纬度
(integer) 1
127.0.0.1:6379> geoadd cities:locations 117.12 39.08 tianjin 114.29 38.02 shijiazhuang    # 添加天津和石家庄的经纬度
(integer) 2
127.0.0.1:6379> geoadd cities:locations 118.01 39.38 tangshan 115.29 38.51 baoding         # 添加唐山和保定的经纬度
(integer) 2

3.2.2 geppos命令

geopos key member [member...]       获取地理位置信息

例子：

127.0.0.1:6379> geopos cities:locations tianjin     # 获取天津的地址位置信息
1) 1) "117.12000042200088501"
   2) "39.0800000535766543"

3.2.3 geodist命令

geodist key member1 member2 [unit]      获取两个地理位置的距离,unit:m(米),km(千米),mi(英里),ft(尺)

例子：

127.0.0.1:6379> geodist cities:locations tianjin beijing km
"89.2061"
127.0.0.1:6379> geodist cities:locations tianjin baoding km
"170.8360"

3.2.4 georadius命令和georadiusbymember命令

georedius key longitude latitude radiusm|km|ft|mi [withcoord] [withdist] [withhash] [COUNT count] [asc|desc] [store key][storedist key]
georadiusbymember key member radiusm|km|ft|mi [withcoord] [withdist] [withhash] [COUNT count] [asc|desc] [store key][storedist key]
获取指定位置范围内的地理位置信息集合
    withcoord:返回结果中包含经纬度
    withdist:返回结果中包含距离中心节点位置
    withhash:返回结果中包含geohash
    COUNT count:指定返回结果的数量
    asc|desc:返回结果按照距离中心节点的距离做升序或者降序
    store key:将返回结果的地理位置信息保存到指定键
    storedist key:将返回结果距离中心节点的距离保存到指定键

例子：

127.0.0.1:6379> georadiusbymember cities:locations beijing 150 km   # 获取距离北京150km范围内的城市
1) "beijing"
2) "tianjin"
3) "tangshan"
4) "baoding"

3.3 GEO相关说明

Redis的GEO功能是从3.2版本添加
geo功能基于zset实现
geo没有删除命令

3.3.1 使用zrem命令来进行geo的删除操作

命令：

zrem key member

例子：

127.0.0.1:6379> georadiusbymember cities:locations beijing 150 km
1) "beijing"
2) "tianjin"
3) "tangshan"
4) "baoding"
127.0.0.1:6379> zrem cities:locations baoding
(integer) 1
127.0.0.1:6379> georadiusbymember cities:locations beijing 150 km
1) "beijing"
2) "tianjin"
3) "tangshan"

3.4 GEO的应用场景

微信摇一摇

高可用Redis(六)：瑞士军刀之bitmap，HyperLoglog和GEO

1.bitmap位图

1.1 bitmap位图的概念

1.2 bitmap的常用命令

1.2.1 setbit命令

1.2.2 getbit命令

1.2.3 bitcount命令

1.2.4 bitop命令

1.3 bitmap位图应用

1.3.1 方式一：用set来保存

1.3.2 方式二：使用bitmap的方式

1.4 bitmap使用经验

2.HyperLoglog

2.1 HyperLoglog简介

2.2 常用命令

2.3 HyperLoglog内存消耗(百万独立用户)

2.4 HyperLoglog注意事项

3.GEO

3.1 GEO简介

3.2 GEO常用命令

3.2.1 geoadd命令

3.2.2 geppos命令

3.2.3 geodist命令

3.2.4 georadius命令和georadiusbymember命令

3.3 GEO相关说明

3.3.1 使用zrem命令来进行geo的删除操作

3.4 GEO的应用场景

热门文章

最新文章

相关课程

相关电子书

相关实验场景

热门

活动广场

任务中心

开发者评测

高校计划

乘风者计划

训练营

阿里云MVP

话题

直播

下载

镜像站

技术资料

插件

高可用Redis(六)：瑞士军刀之bitmap，HyperLoglog和GEO

1.bitmap位图

1.1 bitmap位图的概念

1.2 bitmap的常用命令

1.2.1 setbit命令

1.2.2 getbit命令

1.2.3 bitcount命令

1.2.4 bitop命令

1.3 bitmap位图应用

1.3.1 方式一：用set来保存

1.3.2 方式二：使用bitmap的方式

1.4 bitmap使用经验

2.HyperLoglog

2.1 HyperLoglog简介

2.2 常用命令

2.3 HyperLoglog内存消耗(百万独立用户)

2.4 HyperLoglog注意事项

3.GEO

3.1 GEO简介

3.2 GEO常用命令

3.2.1 geoadd命令

3.2.2 geppos命令

3.2.3 geodist命令

3.2.4 georadius命令和georadiusbymember命令

3.3 GEO相关说明

3.3.1 使用zrem命令来进行geo的删除操作

3.4 GEO的应用场景

热门文章

最新文章

相关课程

相关电子书

相关实验场景