亿级数据判断 bitmap-布隆过滤器

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: 亿级数据判断 bitmap-布隆过滤器

缓存穿透

假设我们使用redis缓存了商品信息,当我们请求进来时,首先经过的是redis,当redis不存在时,才会去查找mysql.然后将mysql的数据缓存到redis.

整个流程看上去是没有任何问题的,但当前端在同一时间发生了大量请求,同时去请求一个redis,数据库都不存在的商品id,会发生什么情况呢?

1: 先去访问redis,发现redis不存在缓存

2: 查询mysql.mysql不存在缓存,则无法进行redis缓存

3: 下一次请求继续循环.....

这个情况,由于redis无法缓存数据,导致每次请求都会直接到数据库,数据库压力剧增,导致宕机.

短网址判断

短网址服务大家都应该比较熟悉,

如果有个短网址服务,现在存储了1亿条短网址.

当你访问 1.cn/arhwqwqwe  这串字符时

同缓存穿透,短网址服务器会先去请求redis缓存,当redis缓存不存在时,请求mysql数据库.....

bitmap

布隆过滤器基于  大数据存储处理-bitmap的艺术

通过 目标数据的 标识hash为位的下标,目标数据存在则为1,不存在则为0

例如:

1,3,5,6,7    5个值,在bitmap中表示为:

image.png

二进制表示为:(从右往左)

0b11101010

如果我们需要判断id 2是否存在,只需要根据2所在的位置去判断即可:

$bitmap = 0b11101010;
$goodsId = 3;
$bitToNum = 1 << $goodsId;//算出这个数字的二进制位数
echo "goodsId 2的二进制:" . decbin($bitToNum), PHP_EOL;
$tempNum = $bitmap & $bitToNum;
echo "位运算结果:" . decbin($tempNum), PHP_EOL;
if ($tempNum != $bitToNum) {
    echo "商品id:{$goodsId}不存在\\n";
}else{
    echo "商品id:{$goodsId}存在\\n";
}

看到这里,是不是发现有点熟悉?没错,这个是我从大数据存储处理-bitmap的艺术 复制过来的代码,可以看出,如果是商品id这种id类型的,可以直接使用bitmap判断存在或者不存在,那布隆过滤器呢?

布隆过滤器

布隆过滤器是一个非常长的bitmap组成,通过随机散列函数,将数据随机映射到bitmap的位置中.

它的存储步骤为:

1: 创建一个足够大的bitmap,例如10亿

2: 将需要判断的key,通过hash 映射函数,例如(md5(key)%10亿),将其指定到bitmap的一个位置中

3: 将bitmap该位置置为1

它的判断步骤为:

1: 将需要判断的key,通过hash映射函数,例如(md5(key)%10亿),获取其指定位置.

2: 找到bitmap的该位置,如果为0,则代码该key一定不存在,如果为1,则可能存在

php实现代码:(本文的hash函数用的是php自带的crc32算法)

<?php
/**
 * Created by PhpStorm.
 * User: xdd
 * Date: 2020/9/21
 * Time: 10:23
 */
/**
 * Created by PhpStorm.
 * User: apple
 * Date: 2020-04-30
 * Time: 14:25
 */
class BloomFilter
{
    //由于php的int为64位,如果要存储10亿,或者更大的数据,需要通过多个int数组实现
    protected $bitmap = \[\];
    //一个int,只能表示0-64的数字
    //10亿的数字
    protected $maxNum = 1 << 30;
    function add($key)
    {
        $hash = $this->hash($key);
        $bitmapKey = $this->getBitmapKey($hash);
        if (isset($this->bitmap\[$bitmapKey\])) {
            //如果已经添加了这个数组,则直接与运算将数据加上
            $this->bitmap\[$bitmapKey\] = $this->bitmap\[$bitmapKey\] | (1 << ($hash % 64));
        } else {
            $this->bitmap\[$bitmapKey\] = 1 << ($hash % 64);
        }
        return $hash;
    }
    function get($key)
    {
        $hash = $this->hash($key);
        $bitmapKey = $this->getBitmapKey($hash);
        if (isset($this->bitmap\[$bitmapKey\])) {
            $bitToNum = 1 << ($hash % 64);//算出这个数字的二进制位数
            $tempNum = $this->bitmap\[$bitmapKey\] & $bitToNum;
            if ($tempNum != $bitToNum) {
                return false;
            }
            return true;
        } else {
            return false;
        }
    }
    function hash($key)
    {
        $hash = crc32($key);
        //time33返回的数据是0-2^31,目前我们的设想是只存储2^30,所以取余
        $hash = $hash % $this->maxNum;
        return $hash;
    }
    function getBitmapKey($data)
    {
        $key = intval($data / 64);
        return $key;
    }
}
$bloomFilter = new BloomFilter();
$str = "测试1234";
$hash = $bloomFilter->add($str);
var_dump($bloomFilter->get($str));
var_dump($bloomFilter->get('213312'));

注意事项

需要注意的是,

布隆过滤器  重复率依靠的是hash算法,所以越完善的hash算法,分配的数据越均匀,冲突率越低

同时,布隆过滤器只能验证一个值 一定不存在或可能存在

应用场景

1:url短网址生成判断,如果不存在,则代表该url一定没有生成过,可以直接返回404

2:恶意url判断,如果存在,则表示该url可能有问题,可以进一步过滤判断

3:解决上面说的缓存穿透问题

目录
相关文章
Python错误 TypeError: ‘NoneType‘ object is not subscriptable解决方案汇总
Python错误 TypeError: ‘NoneType‘ object is not subscriptable解决方案汇总
|
存储 安全 Java
Java修仙之路,十万字吐血整理全网最完整Java学习笔记(基础篇)
从Java环境的搭建到实际代码的编写,从基本用法的讲解到底层原理的剖析,深度解析Java基础知识。本文是《Java学习路线》专栏的起始文章,旨在提供一套完整的Java学习路线,覆盖Java基础知识、数据库、SSM/SpringBoot等框架、Redis/MQ等中间件、设计模式、架构设计、性能调优、源码解读、核心面试题等全面的知识点,并在未来不断更新和完善,帮助Java从业者在更短的时间内成长为高级开发。
Java修仙之路,十万字吐血整理全网最完整Java学习笔记(基础篇)
|
存储 安全 网络安全
|
数据安全/隐私保护
MIUI中无法获取所有短信的坑
MIUI中无法获取所有短信的坑
367 2
|
弹性计算 关系型数据库 MySQL
rds子网配置
在阿里云中配置RDS子网涉及五个关键步骤:1) 创建或选择VPC作为私有网络环境;2) 在VPC内创建子网并确保IP地址不重叠;3) 关联路由表和安全组以控制流量及访问权限;4) 创建RDS实例时指定VPC和子网;5) 确保ECS实例与RDS在同一VPC或配置相应跨VPC访问,并调整安全组规则。这样可保障RDS与其他资源的通信及网络性能。
347 6
|
SQL 关系型数据库 MySQL
mysql-proxy数据库中间件架构 | 架构师之路
mysql-proxy是mysql官方提供的mysql中间件服务,上游可接入若干个mysql-client,后端可连接若干个mysql-server。
1866 83
|
弹性计算
购买阿里云服务器之后如何查看其IP地址
购买阿里云服务器之后如何查看其IP地址
750 0
|
XML JSON 程序员
以程序员的身份,教您使用API接口获取虾皮商品详情
作为一名程序员,我深知在使用虾皮(Shopee)电商平台进行业务开发时,通过API接口获取商品详情的重要性。本文将引导您逐步了解和使用虾皮的API接口,从而轻松获取商品详情数据,为您的业务提供有力支持。
|
存储 缓存 前端开发
关于JWT Token 自动续期的解决方案
关于JWT Token 自动续期的解决方案
1949 1