常见的一致性哈希算法#Java实现#-阿里云开发者社区

开发者社区> 51open> 正文

常见的一致性哈希算法#Java实现#

简介:     之前参与过缓存框架的封装与测试工作,并对一致性哈希算法进行了相关的调研。通过对spymemcached与jedis等客户端源码的阅读对一致性哈希算法的Java实现进行调研: 1. 使用TreeMap实现,TreeMap本身继承NavigatableMap,因此具备节点导航的特点 2. 通
+关注继续查看

    之前参与过缓存框架的封装与测试工作,并对一致性哈希算法进行了相关的调研。通过对spymemcached与jedis等客户端源码的阅读对一致性哈希算法的Java实现进行调研:

1. 使用TreeMap实现,TreeMap本身继承NavigatableMap,因此具备节点导航的特点

2. 通过在内存中构建虚拟节点,每个物理节点存在160(默认值,可设置)个虚拟节点映射


1. 如何处理节点故障问题

源码分析:通过hash算法获取到的节点属于问题节点便进行N次的rehash操作,若执行N次的rehash操作依然没有定位到可用节点即报错。我在测试时发现,rehash经历N次后可能依然会定位到同一个故障节点,原因是我实际的物理节点数只有两台,所以每台物理节点存在50%的概率被命中。因此我建议物理节点数尽可能的多,分担哈希环区间,减少故障节点多次被命中的情况。


2. Set操作没有涉及到冗余存储

若node-1存储成功,可以在node-2, node-3上进行冗余存储并设置TTL。若遇到node-1节点故障,failover至node-2, node-3节点,尽量保证缓存命中;多节点冗余存储涉及到一致性的问题稍微复杂,因此引入TTL尽量缓解一致性的问题。


。。。未完待续。。。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Raft 为什么是更易理解的分布式一致性算法
Raft 为什么是更易理解的分布式一致性算法
3384 0
一致性哈希算法应用与分析
  一致性哈希算法主要使用在分布式数据存储系统中,按照一定的策略将数据尽可能均匀分布到所有的存储节点上去,使得系统具有良好的负载均衡性能和扩展性。感觉一致性哈希与数据结构中的“循环队列”还是有一点联系的。
766 0
java实现极简的LRU算法
import java.util.LinkedHashMap;import java.util.Map; /** * LRU (Least Recently Used)  */public class LRUCache extends LinkedHashMap ...
682 0
InnoDB的哈希算法
InnoDB存储引擎中自适应哈希索引使用的是散列表(Hash Table)的数据结构。但是散列表不只存在于自适应哈希中,在每个数据库中都存在。设想一个问题,当前我的内存为128G,我怎么得到内存中的某一个被缓存的页呢?内存中查询速度很快,但是也不可能遍历所有内存。
847 0
分布式事务解决方案--消息发送一致性的异常流程处理
样例项目基于龙果学院开源的微支付系统进行实现,使用Dubbo作为服务化框架,教程中所实现的分布式事务解决方案在Java体系中的微服务架构系统都能通用,与具体的开发框架无关。 样例项目中用到的技术及相应的环境: Dubbo、Spring、SpringMVC、MyBatis、Druid、JDK7(或JDK8)、MySQL5.
1590 0
+关注
4
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载