不允许你还没有了解哈希表、哈希桶、哈希冲突的解决,如何避免冲突

本文涉及的产品
函数计算FC,每月15万CU 3个月
简介: 不允许你还没有了解哈希表、哈希桶、哈希冲突的解决,如何避免冲突

一、哈希表


1.1 概念


顺序结构以及平衡树 中,元素关键码与其存储位置之间没有对应的关系,因此在 查找一个元素时,必须要经过关键 码的多次比较 。 顺序查找时间复杂度为 O(N), 平衡树中为树的高度,即 O( ),搜索的效率取决于搜索过程中元素的比较次数。

 理想的搜索方法 :可以不经过任何比较,一次直接从表中得到要搜索的元素 。 如果构造一种存储结构,通过某种函数(hashFunc)使元素的存储位置与它的关键码之间能够建立一一映射的关系,那么在查找时通过该函数可以很快找到该元素。  

当向该结构中:


插入元素:根据待插入元素的关键码,以此函数计算出该元素的存储位置并按此位置进行存放

搜索元素:对元素的关键码进行同样的计算,把求得的函数值当做元素的存储位置,在结构中按此位置取元素比较,若关键码相等,则搜索成功。

该方式即为  哈希(散列)  方法, 哈希方法中使用的转换函数称为哈希 ( 散列 ) 函数,构造出来的结构称为哈希表 (Hash Table)( 或者称散列表 )

例如:数据集合 {1 , 7 , 6 , 4 , 5 , 9} ;

哈希函数设置为: hash(key) = key % capacity ; capacity 为存储元素底层空间总的大小。

1111.png


用该方法进行搜索不必进行多次关键码的比较,因此搜索的速度比较快。 问题是:按照上述哈希方式,向集合中插入元素44 ,会出现什么问题?这就引出了哈希冲突的概念。


1.2 冲突


1.2.1 冲突概念


对于两个数据元素的关键字Ki和Kj  (i != j) ,有  Ki != Kj,但有:Hash( Ki) == Hash(Kj ),即:不同关键字通过相同哈 希哈数计算出相同的哈希地址,该种现象称为哈希冲突或哈希碰撞 。 把具有不同关键码而具有相同哈希地址的数据元素称为 “ 同义词 ” 。


1.2.2 冲突避免


首先,我们需要明确一点,由于我们哈希表底层数组的容量往往是小于实际要存储的关键字的数量的,这就导致一个问题, 冲突的发生是必然的 ,但我们能做的应该是尽量的 降低冲突率。


1.2.3 冲突避免-哈希函数设计


引起哈希冲突的一个原因可能是: 哈希函数设计不够合理 。

哈希函数设计原则:

哈希函数的定义域必须包括需要存储的全部关键码,而如果散列表允许有m个地址时,其值域必须在0到m-1之间

哈希函数计算出来的地址能均匀分布在整个空间中

哈希函数应该比较简单


常见哈希函数:


直接定制法--(常用)

取关键字的某个线性函数为散列地址: Hash ( Key ) = A*Key + B 优点:简单、均匀 缺点:需要事先知道关键字的分布情况 使用场景:适合查找比较小且连续的情况。

除留余数法--(常用)

设散列表中允许的 地址数为 m ,取一个不大于 m ,但最接近或者等于 m 的质数 p 作为除数,按照哈希函数: Hash(key) = key% p(p<=m), 将关键码转换成哈希地址。


平方取中法


假设关键字为 1234 ,对它平方就是 1522756 ,抽取中间的 3 位 227 作为哈希地址; 再比如关键字为 4321 ,对它平方就是18671041 ,抽取中间的 3 位 671( 或 710) 作为哈希地址 平方取中法比较适合:不知道关键字的分 布,而位数又不是很大的情况。


折叠法


折叠法是将关键字从左到右分割成位数相等的几部分(最后一部分位数可以短些),然后将这几部分叠加求和,并按散列表表长,取后几位作为散列地址。 折叠法适合事先不需要知道关键字的分布,适合关键字位数比较多的情况  。


随机数法


选择一个随机函数,取关键字的随机函数值为它的哈希地址,即 H(key) = random(key), 其中 random为随机数函数。通常应用于关键字长度不等时采用此法 。

数学分析法


设有 n 个 d 位数,每一位可能有 r 种不同的符号,这 r 种不同的符号在各位上出现的频率不一定相同,可能在某些位上分布比较均匀,每种符号出现的机会均等,在某些位上分布不均匀只有某几种符号经常出现。可根据散列表的大小,选择其中各种符号分布均匀的若干位作为散列地址。例如:


121.png

假设要存储某家公司员工登记表,如果用手机号作为关键字,那么极有可能前 7 位都是 相同的,那么我们可以选择后面的四位作为散列地址,如果这样的抽取工作还容易出现 冲突,还可以对抽取出来的数字进行反转( 如1234改成 4321) 、右环位移 ( 如 1234 改成 4123) 、左环移位、前两数与后两数叠加 ( 如 1234 改成 12+34=46) 等方法。 数字分析法通常适合处理关键字位数比较大的情况,如果事先知道关键字的分布且关键字的若干位分布较均匀的情况。

注意:哈希函数设计的越精妙,产生哈希冲突的可能性就越低,但是无法避免哈希冲突 。


1.2.4 负载因子调节



负载因子和冲突率的关系粗略演示:


111.png


所以当冲突率达到一个无法忍受的程度时,我们需要通过降低负载因子来变相的降低冲突率。已知哈希表中已有的关键字个数是不可变的,那我们能调整的就只有哈希表中的数组的大小。


1.2.5 冲突解决-闭散列


解决哈希冲突两种常见的方法是:开散列和闭散列。


闭散列:


闭散列:也叫开放定址法,当发生哈希冲突时,如果哈希表未被装满,说明在哈希表中必然还有空位置,那么可以 把 key 存放到冲突位置中的 “ 下一个 ” 空位置中去。 那如何寻找下一个空位置呢?

线性探测:比如上面的场景,现在需要插入元素44,先通过哈希函数计算哈希地址,下标为4,因此44理论上应该插在该位置,但是该位置已经放了值为4的元素,即发生哈希冲突。那么就从发生冲突的位置开始,依次向后探测,直到寻找到下一个空位置为止。


33334.png

采用闭散列处理哈希冲突时,不能随便物理删除哈希表中已有的元素,若直接删除元素会影响其他

元素的搜索。比如删除元素 4 ,如果直接删除掉, 44 查找起来可能会受影响。因此线性探测采用标

记的伪删除法来删除一个元素。

二次探测  

线性探测的缺陷是产生冲突的数据堆积在一块,这与其找下一个空位置有关系,因为找空位置的方式就是挨着往后逐个去找,因此二次探测为了避免该问题,找下一个空位置的方法为:

Hi= (H0+i^2)%m 或者:Hi= (H0-i^2)%m。 其中: i = 1,2,3… ,H0是通过散列函数Hash(x) 对元素的关键码 key 进行计算得到的位置,m是表的大小。 对于文章开头的表, 如果要插入 44 ,产生冲突,使用解决后的情况为:


3212.png

研究表明:当表的长度为质数且表装载因子 a 不超过 0.5 时,新的表项一定能够插入,而且任何一个位置都不会被探查两次。因此只要表中有一半的空位置,就不会存在表满的问题。在搜索时可以不考虑表装满的情况,但在插入时必须确保表的装载因子a 不超过 0.5 ,如果超出必须考虑增容。

因此:闭散列最大的缺陷就是空间利用率比较低,这也是哈希的缺陷。


1.2.6 冲突解决-开散列


开散列法又叫链地址法 ( 开链法 ) ,首先对关键码集合用散列函数计算散列地址,具有相同地址的关键码归于同一子集合,每一个子集合称为一个桶,各个桶中的元素通过一个单链表链接起来,各链表的头结点存储在哈希表中。

3456.png


从上图可以看出,开散列中每个桶中放的都是发生哈希冲突的元素。 开散列,可以认为是把一个在大集合中的搜索问题转化为在小集合中做搜索了。


那如果冲突严重,就意味着小集合的搜索性能其实也是不佳的,这个时候我们就可以将这个所谓的小集合搜索问题继续进行转化,例如:

每个桶的背后是另一个哈希表

每个桶的背后是一棵搜索树


1.2.7 哈希桶K-V型实现


类的基本定义:


    public void put(K key, V val){
        int hash = key.hashCode();
        int index = hash % array.length;
        Node<K,V> cur = array[index];
        while (cur!=null){
            if(cur.key.equals(key)){
                cur.val=val;
                return;
            }
            cur = cur.next;
        }
        Node<K,V> node = new Node<>(key,val);
        node.next=array[index];
        array[index]=node;
        usedSize++;
        if(doLOAD_FACTOR()>DEFAULT_LOAD_FACTOR){
            resize();
        }
    }
    //计算当前负载因子
    private float doLOAD_FACTOR(){
        return usedSize*1.0f / array.length;
    }  
    //如果哈希桶已满,扩容后重新哈希
    private void resize(){
        Node<K,V>[] newArray = new Node[array.length*2];
        for (int i = 0; i < array.length; i++) {
            Node<K,V> cur = array[i];
            while (cur!=null){
                //先生成整数,调用hashCode
                Node<K,V> curNext = cur.next;
                int newHash = cur.key.hashCode();
                int newIndex = newHash % newArray.length;
                cur.next = newArray[newIndex];
                cur = curNext;
            }
        }
        array = newArray;
    }


存放元素:


    public void put(K key, V val){
        int hash = key.hashCode();
        int index = hash % array.length;
        Node<K,V> cur = array[index];
        while (cur!=null){
            if(cur.key.equals(key)){
                cur.val=val;
                return;
            }
            cur = cur.next;
        }
        Node<K,V> node = new Node<>(key,val);
        node.next=array[index];
        array[index]=node;
        usedSize++;
        if(doLOAD_FACTOR()>DEFAULT_LOAD_FACTOR){
            resize();
        }
    }
    //计算当前负载因子
    private float doLOAD_FACTOR(){
        return usedSize*1.0f / array.length;
    }  
    //如果哈希桶已满,扩容后重新哈希
    private void resize(){
        Node<K,V>[] newArray = new Node[array.length*2];
        for (int i = 0; i < array.length; i++) {
            Node<K,V> cur = array[i];
            while (cur!=null){
                //先生成整数,调用hashCode
                Node<K,V> curNext = cur.next;
                int newHash = cur.key.hashCode();
                int newIndex = newHash % newArray.length;
                cur.next = newArray[newIndex];
                cur = curNext;
            }
        }
        array = newArray;
    }


获取key位置的val值:


 

    public V getValue(K key){
        int hash = key.hashCode();
        int index = hash % array.length;
        Node<K,V> cur = array[index];
        while (cur!=null){
            if(cur.key.equals(key)){//引用类型不可使用等号比较!!!!!!
                return cur.val;
            }
            cur = cur.next;
        }
        return null;
    }


1.3 性能分析


虽然哈希表一直在和冲突做斗争,但在实际使用过程中,我们认为哈希表的冲突率是不高的,冲突个数是可控的,也就是每个桶中的链表的长度是一个常数,所以,通常意义下,我们认为哈希表的插入 / 删除 / 查找时间复杂度是 O(1) 。


相关实践学习
【AI破次元壁合照】少年白马醉春风,函数计算一键部署AI绘画平台
本次实验基于阿里云函数计算产品能力开发AI绘画平台,可让您实现“破次元壁”与角色合照,为角色换背景效果,用AI绘图技术绘出属于自己的少年江湖。
从 0 入门函数计算
在函数计算的架构中,开发者只需要编写业务代码,并监控业务运行情况就可以了。这将开发者从繁重的运维工作中解放出来,将精力投入到更有意义的开发任务上。
目录
相关文章
|
机器学习/深度学习 数据采集 自然语言处理
【机器学习实战】10分钟学会Python怎么用LASSO回归进行正则化(十二)
【机器学习实战】10分钟学会Python怎么用LASSO回归进行正则化(十二)
4212 0
|
存储 算法 Serverless
解决哈希冲突的方式
解决哈希冲突的方式
264 0
|
网络协议 Ubuntu Java
技术笔记:NML工程入门
技术笔记:NML工程入门
|
4月前
|
存储 人工智能 网络协议
为什么NAS需要内网穿透,如何给自建NAS做内网穿透
内网穿透是一种解决外网访问内网服务的技术,通过公网服务器中转或直连方式,实现对家中的NAS、摄像头等设备的远程访问。文章详细介绍了内网与外网的区别、NAS为何需要内网穿透,以及两种主要实现方式:端口转发和P2P直连。同时列举了常见工具如NAT123、FRP、Ngrok和Infortress,分别适合不同技术基础的用户。总结指出,内网穿透让远程访问变得便捷,而相关工具则降低了使用门槛,让更多人受益于这项技术。
|
12月前
|
算法 Java C语言
【数据结构】后缀(逆波兰)表达式的计算以及中缀转后缀的方法
【数据结构】后缀(逆波兰)表达式的计算以及中缀转后缀的方法
1730 1
|
存储 SQL 分布式计算
对象存储解决方案 开源对象存储平台 自建对象存储解决方案
对象存储解决方案 开源对象存储平台 自建对象存储解决方案
644 4
|
运维 前端开发 API
运维,如何快速查找后端的接口
运维,如何快速查找后端的接口
|
SQL 存储 OLAP
实时数仓Hologres OLAP场景核心能力介绍
Hologres提供统一、实时、弹性、易用的一站式实时数仓引擎,解决复杂OLAP难题。
|
存储 SQL 关系型数据库
(二十一)MySQL之高并发大流量情况下海量数据分库分表的正确姿势
从最初开设《全解MySQL专栏》到现在,共计撰写了二十个大章节详细讲到了MySQL各方面的进阶技术点,从最初的数据库架构开始,到SQL执行流程、库表设计范式、索引机制与原理、事务与锁机制剖析、日志与内存详解、常用命令与高级特性、线上调优与故障排查.....,似乎涉及到了MySQL的方方面面。但到此为止就黔驴技穷了吗?答案并非如此,以《MySQL特性篇》为分割线,整个MySQL专栏从此会进入“高可用”阶段的分析,即从上篇之后会开启MySQL的新内容,主要讲述分布式、高可用、高性能方面的讲解。
814 1
|
NoSQL Ubuntu 关系型数据库
轻松上手 Docker:一键部署常用软件环境指南
轻松上手 Docker:一键部署常用软件环境指南
1566 0