GeoHash之存储篇

简介: GeoHash之存储篇

前言:

在上一篇文章GeoHash——滴滴打车如何找出方圆一千米内的乘客主要介绍了GeoHash的应用是如何的,本篇文章我想要带大家探索一下使用什么样的数据结构去存储这些Base32编码的经纬度能够节省内存并且提高查询的效率。


前缀树、跳表介绍:

什么是前缀树:

针对于没有接触过前缀树或者不熟悉前缀树的同学,我先简单介绍一下其基本原理。

前缀树 其主要就是分为两个部分 前缀 + 树

树大家肯定不陌生,比如二叉搜索树这样的数据结构就可以将查询效率降低至O(logn),,
而前缀树不同之处在于它的节点的核心数据结构是这样的:

`

type Trie struct {
   
   
    child [26]*Trie
    isEnd bool
}

首先child [26]*Trie主要作用就是存放子节点的,而isEnd作用就是去判断当前节点是否存在有一个完整的元素的结尾。光说原理比较枯燥,举例图示说明:

不知道大家是否了解过web后端路由是有哪些存储方式的,在golang语言中gin框架就是基于前缀树去存储路由的,比如:

假设我们要使用前缀树去存储
/ /ag /c /e这四个路由

那么存储过程就是应该这样的

image.png

每一个节点是一个Trie数据结构的节点,每个数组节点对应的是需要存储数据的单个字符,这样做的好处就是当我们需要存放的数据如果有相同前缀那么就不需要重复存储,节省空间,例如app、approach。那么app就只需要存储一次即可。

为了更方便理解,这里放一下插入元素、搜寻元素是否存在的代码:

func (this *Trie) Insert(word string)  {
   
   
    cur:=this
    for i:=0;i<len(word);i++{
   
   
        idx:=word[i]-'a'
        if cur.child[idx]==nil{
   
   
            cur.child[idx]=&Trie{
   
   }
            }
            cur=cur.child[idx]
    }
    cur.isEnd=true
}


func (this *Trie) Search(word string) bool {
   
   
    cur:=this
    for i:=0;i<len(word);i++{
   
   
        if cur.child[word[i]-'a']==nil{
   
   
                return false
            }
        cur=cur.child[word[i]-'a']
    }
    return cur.isEnd
}

而GeoHash得到的字符串其实正好满足大量相同前缀的特性,因此使用前缀树去存储GeoHash是相对比较合适的。


对于前缀树的补充

上述讲的其实是最基础版的前缀树,我们还可以对此进行一些魔改来优化存储与查询。

比如在Go/gin框架中的路由存储就是用的压缩前缀树

首先该树中当一个节点它仅有一个子节点时就会对树的结构进行一个压缩

image.png

/egg这个节点,e下子节点只有g,g下子节点就只有g,因此它们都会被合并到一起

其次句柄数量更多的 child node 摆放在 children 数组更靠前的位置.

如egg句柄数量更多,那么它就将会更靠前,以便于更早被遍历到


跳表原理简单介绍

其实用上述数据结构已经非常合适了,但是我为什么还要介绍一下SkipList这种数据结构呢,因为Redis中GEO 本身并没有设计新的底层数据结构,而是直接使用了 Sorted Set 集合类型。而Sorted Set底层其实就是跳表,那么就简单介绍一下。


链表在查找元素的时候,因为需要逐一查找,所以查询效率非常低,时间复杂度是O(N),于是就出现了跳表。跳表是在链表基础上改进过来的,实现了一种「多层」的有序链表,这样的好处是能快读定位数据。

如图所示

image.png

  • L0 层级共有 5 个节点,分别是节点1、2、3、4、5;
  • L1 层级共有 3 个节点,分别是节点 2、3、5;
  • L2 层级只有 1 个节点,也就是节点 3 。

如果我们要在链表中查找节点 4 这个元素,只能从头开始遍历链表,需要查找 4 次,而使用了跳表后,只需要查找 2 次就能定位到节点 4,因为可以在头节点直接从 L2 层级跳到节点 3,然后再往前遍历找到节点 4。

可以看到,这个查找过程就是在多个层级上跳来跳去,最后定位到元素。当数据量很大时,跳表的查找复杂度就是 O(logN)


想要自己简单动手去实现一下跳表可以刷一下对应的题(力扣(LeetCode)官网 - 全球极客挚爱的技术成长平台)

这里贴一下自己写的跳表代码

type Node struct {
   
   
    Val  int
    Next *Node
    Down *Node
}

type Skiplist struct {
   
   
    head *Node
}

func Constructor() Skiplist {
   
   
    return Skiplist{
   
   head:&Node{
   
   Val:-1,Next:nil,Down:nil} }
}

func (this *Skiplist) Search(target int) bool {
   
   
    curr:=this.head
    for curr!=nil{
   
   
        for curr.Next!=nil&&curr.Next.Val<target{
   
   
            curr=curr.Next
        }
        if curr.Next != nil&&curr.Next.Val==target{
   
   
            return true
        }
        curr=curr.Down
    }
    return false
}

func (this *Skiplist) Add(num int) {
   
   
    curr:=this.head
    isInsert:=true
    down:=&Node{
   
   Val:-1,Next:nil,Down:nil}
    deque:=[]*Node{
   
   }
    for curr!=nil{
   
   
        for curr.Next!=nil&&curr.Next.Val<num{
   
   
            curr=curr.Next
        }
        deque=append(deque,curr)
        curr=curr.Down
    }
    for len(deque)>0&&isInsert{
   
   
        curr=deque[len(deque)-1]
        deque=deque[:len(deque)-1]
        if down.Val==-1{
   
   
            curr.Next=&Node{
   
   Val:num,Next:curr.Next,Down:nil}
        }else{
   
   
            curr.Next=&Node{
   
   Val:num,Next:curr.Next,Down:down}
        }
        down=curr.Next
        isInsert=rand.Float64()>0.5
    }
    if isInsert{
   
   
        this.head=&Node{
   
   Val:-1,Next:nil,Down:this.head}
    }
}

func (this *Skiplist) Erase(num int) bool {
   
   
    curr, isFound := this.head, false
    for curr != nil {
   
   
        for curr.Next != nil && curr.Next.Val < num {
   
   
            curr = curr.Next
        }
        if curr.Next != nil && curr.Next.Val == num {
   
   
            isFound = true
            curr.Next = curr.Next.Next
        }
        curr = curr.Down
    }
    return isFound

}
相关文章
|
监控 算法 Go
Golang深入浅出之-Go语言中的服务熔断、降级与限流策略
【5月更文挑战第4天】本文探讨了分布式系统中保障稳定性的重要策略:服务熔断、降级和限流。服务熔断通过快速失败和暂停故障服务调用来保护系统;服务降级在压力大时提供有限功能以保持整体可用性;限流控制访问频率,防止过载。文中列举了常见问题、解决方案,并提供了Go语言实现示例。合理应用这些策略能增强系统韧性和可用性。
1599 0
|
10月前
|
监控 安全 Nacos
《服务治理》配置中心:微服务架构的"中央控制台"
配置中心是微服务架构的核心组件,实现配置集中化、动态更新、环境隔离与版本控制。通过Nacos等工具,支持实时推送、加密管理、灰度发布及多环境治理,提升系统灵活性与可靠性,是分布式系统不可或缺的基础设施。
|
9月前
|
SQL 关系型数据库 MySQL
《理解MySQL数据库》查询优化器深度解析 智能查询优化的核心引擎
MySQL查询优化器是数据库性能核心,通过成本估算、查询重写与执行计划选择,将SQL转换为高效操作。支持索引优化、连接算法选择及子查询转化,结合统计信息与提示机制,提升查询效率。
|
存储 人工智能 算法
《AI 剧本生成与动画创作》解决方案评测
《AI 剧本生成与动画创作》解决方案评测
560 11
|
存储 NoSQL MongoDB
MongoDB入门级别教程全(Windows版,保姆级教程)
一份全面的MongoDB入门级教程,包括在Windows系统上安装MongoDB、使用MongoDB Shell和Compass GUI进行数据库操作,以及MongoDB的基本数据类型和查询技巧。
3856 5
MongoDB入门级别教程全(Windows版,保姆级教程)
|
存储 消息中间件 JSON
DDD基础教程:一文带你读懂DDD分层架构
DDD基础教程:一文带你读懂DDD分层架构
|
机器学习/深度学习 人工智能 机器人
强化学习:人工智能的未来之路
强化学习作为人工智能的重要组成部分,以其独特的学习方式在游戏、机器人控制、金融交易等领域取得了显著成就。通过模拟试错过程,强化学习使得计算机能够逐步优化决策策略,实现智能决策。未来,随着多任务学习、迁移学习和深度强化学习的发展,强化学习必将在人工智能的未来之路上发挥更加重要的作用。
强化学习:人工智能的未来之路
|
存储 自然语言处理 算法
倒排索引:ES倒排索引底层原理及FST算法的实现过程(一)
倒排索引:ES倒排索引底层原理及FST算法的实现过程
倒排索引:ES倒排索引底层原理及FST算法的实现过程(一)
|
SQL 关系型数据库 MySQL
MySQL实战干货 | 如何处理由时区设置引发的 SQL 执行“卡顿”?
小小不起眼的时区设置也能成为高并发场景的性能杀手,让我们一起来看一下其是如何发生,又如何能够避免的
1742 0
MySQL实战干货 | 如何处理由时区设置引发的 SQL 执行“卡顿”?
|
Web App开发
限外令开闸 手机追剧吐槽利器推荐
本文讲的是 :  限外令开闸 手机追剧吐槽利器推荐  , 在业余时间追热门影视剧,是不少人的娱乐方式和习惯。随着施行一个季度的限外令结束,一批在国内拥有大量粉丝的美剧即将再次登陆国内。在压抑了三个月之后,粉丝需要尽早获得最新剧集更新信息,更希望与朋友第一时间分享精彩情节。
1487 0

热门文章

最新文章