1. 列举⼀个常⽤的Redis客户端的并发模型
2. 如何实现⼀个Hashtable?你的设计如何考虑Hash冲突?如何优化?
3. 分布式缓存,⼀致性hash
⼀致性hash算法:我们的memcached客户端(这⾥我看的spymemcache的源码),使⽤了⼀致性hash算法ketama进⾏数据存储节点的选择。与常规的hash算法思路不同,只是对我们要存储数据的key进⾏hash计算,分配到不同节点存储。⼀致性hash算法是对我们要存储数据的服务器进⾏hash计算,进⽽确认每个key的存储位置。这⾥提到的⼀致性hash算 法ketama的做法是:选择具体的机器节点不在只依赖需要缓存数据的key的hash本身了,⽽是机器节点本身也进⾏了hash运算。
- ⼀致性hash算法是分布式系统中常⽤算法,设计⽬的是为了解决因特⽹中的热点(hot spot)问题。解决了P2P环境最为关键问题—如何在动态⽹络拓扑中分布存储和路由;
- ⼀致性hash算法引⼊虚拟节点机制,解决服务节点少时数据倾斜问题(即对每⼀个服务节点计算多个哈希,每个计算结果位置都放置⼀个此服务节点,称为虚拟节点。); 2、具体做法:如果有⼀个写⼊缓存的请求,其中Key值为K,计算器hash值Hash(K), Hash(K) 对应于图 – 1环中的某⼀个点,如果该点对应没有映射到具体的某⼀个机器节点,那么顺时针查找,直到第⼀次找到有映射机器的节点,该节点就是确定的⽬标节点,如果超过了2^32仍然找不到节点,则命中第⼀个机器节点。⽐如 Hash(K) 的值介于A~B之间,那么命中的机器节点应该是B节点(如下图 )。
数据保存流程: - ⾸先求出memcached服务器(节点)的哈希值,并将其配置到0~232的圆(continuum)上。
- 然后采⽤同样的⽅法求出存储数据的键的哈希值,并映射到相同的圆上。
- 然后从数据映射到的位置开始顺时针查找,将数据保存到找到的第⼀个服务器上。如果超过232仍然找不到服务器,就会保存到第⼀台memcached服务器上。
4. LRU算法, slab分配,如何减少内存碎⽚
memcached预先将分配的内存分割成各种尺⼨的块(chunk),并把尺⼨相同的块分成组(chunk的集合),以此克服内存碎⽚化问题。
5. 如何解决缓存单机热点问题
原因:
- 缓存服务器⾃身有限流保持
缓存服务器数量 * 单机能够承受的qps > ⽤户最⼤的QPS 就会触发限流保护
针对这个原因:可以做横向扩容。加机器即可
- ⽤户访问过来cache服务器集中打到⼀台上⾯了。⼤流量并没有按预期的那样分摊到不同的cache机器上导致出现单机热点。(热点数据)针对这个原因:只要计算cache-hash算法不出问题,那基本上可以做到缓存的随机分布均匀的
- 缓存⾥⾯的value过⼤,导致虽然QPS不⾼,但⽹络流量(qps * 单个value的⼤⼩)还是过⼤,触发了cache机器单台机器的⽹络流量限流;针对这个原因:需要把⼤value进⾏精简,部分可以放在本机内存⽽不需要⾛远程获取这种⽅式的。解决⽅法:针对cache中元素key的访问监控。⼀旦发现cache有qps限流或⽹络⼤⼩限流时,能够通过监控看到到底是哪个key并发访问量过⼤导致,或者哪些key返回的value⼤⼩较⼤,再结合cache散列算法,通过⼀定的规则动态修改key值去平摊到各个cache机器上去。
6. memcache与redis的区别
- Redis中,并不是所有的数据都⼀直存储在内存中的,这是和Memcached相⽐⼀个最⼤的区别。
- Memcache仅仅⽀持简单的k/v类型的数据,Redis同时还提供String, list,set,hash等数据结构的存储。
- Redis⽀持数据的备份,即master-slave模式的数据备份。
- Redis⽀持数据的持久化,可以将内存中的数据保持在磁盘中(rdb定时快照和aof实时记录操作命令的⽇志备份),重启的时候可以再次加载进⾏使⽤。Redis在很多⽅⾯具备数据库的特征,或者说就是⼀个数据库系统,⽽Memcached只是简单的K/V缓存
- Redis可以做⼀些聚合、排序操作。
- memcache使⽤cas乐观锁做⼀致性:拿版本号,操作,对⽐版本号,如果⼀致就操作,不⼀致就放弃任何操作;
- ⼤数据memcached性能更⾼。由于Redis只使⽤单核,⽽Memcached可以使⽤多核,所以平均每⼀个核上Redis在存储⼩数据时⽐Memcached性能更 ⾼。⽽在100k以上的数据中,Memcached性能要⾼于Redis 。
7. redis 本身有持久化,为什么还要写进 mysql 呢?
RDB:快照形式是直接把内存中的数据保存到⼀个 dump ⽂件中,定时保存,保存策略。
AOF:把所有的对Redis的服务器进⾏修改的命令都存到⼀个⽂件⾥,命令的集合。
RDB会丢数据,AOP性能不⾏有改动先插⼊数据库,再插缓存,⽐较靠谱但性能⼀般;
有改动先插缓存,批量更新到数据库,靠谱度略差,但性能好。
8. redis的数据结构和各种应⽤场景?
a. 更多的数据结构;
b. 可持久化;
c. 计数器;
d. 发布-订阅功能;
e. 事务功能;
f. 过期回调功能;
g. 队列功能;
h. 排序、聚合查询功能。
9. redis数据结构?
Redis有5个基本数据结构,string、list、hash、set和zset。
String:string表示的是⼀个可变的字节数组,我们初始化字符串的内容、可以拿到字符串的⻓度,可以获取string的⼦串,可以覆盖string的⼦串内容,可以追加⼦串。
List:Redis将列表数据结构命名为list⽽不是array,是因为列表的存储结构⽤的是链表⽽不是数组,⽽且链表还是双向链表。因为它是链表,所以随机定位性能较弱,⾸尾插⼊删除性能较优。如果list的列表⻓度很⻓,使⽤时我们⼀定要关注链表相关操作的时间复杂度。
hash:哈希等价于Java语⾔的HashMap或者是Python语⾔的dict,在实现结构上它使⽤⼆维结构,第⼀维是数组,第⼆维是链表,hash的内容key和value存放在链表中,数组⾥存放的是链表的头指针。通过key查找元素时,先计算key的hashcode,然后⽤hashcode对数组的⻓度进⾏取模定位到链表的表头,再对链表进⾏遍历获取到相应的value值,链表的作⽤就是⽤来将产⽣了「hash碰撞」的元素串起来。Java语⾔开发者会感到⾮常熟悉,因为这样的结构和HashMap是没有区别的。哈希的第⼀维数组的⻓度也是2^n。
set:Java程序员都知道HashSet的内部实现使⽤的是HashMap,只不过所有的value都指向同⼀个对象。Redis的set结构也是⼀样,它的内部也使⽤hash结构,所有的value都指向同⼀个内部值。
SortedSet(zset):是Redis提供的⼀个⾮常特别的数据结构,⼀⽅⾯它等价于Java的数据结构Map<String,Double>,可以给每⼀个元素value赋予⼀个权重score,另⼀⽅⾯它⼜类似于TreeSet,内部的元素会按照权重score进⾏排序,可以得到每个元素的名次,还可以通过score的范围来获取元素的列表。
codis和redis集群的区别?