AI 助理
备案控制台
开发者社区 数据库 文章 正文

memcached演练(6) 高可用实例HA（伪集群方案 ）

2017-11-02 1765
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：

本系列文章<memcached的演练>,这是第6篇，前面文章，已经阐述了，memcached的安装，访问，session管理，存储管理。从本篇开始，就分开有几篇演练下memcached的高可用相关。

memcached的安全，承载着后台数据库的巨大访问，意义重大。

简单介绍下HA的梗概，如果时间允许尽量都演练下个方案，然后横向比较下各方案的优缺点。

wKiom1ezHaqg5aLkAABQEOh39c8884.png

本篇主要内容

伪集群方案的测试

明确memcached的高可用方案

wKiom1ezHnfz3kJ3AAEgJSaYpQ0412.png

通过比较memcached和redis两种NOSQL的方案，很容易发现，memcached的集群方案设计很简单，主要在client实现。

伪集群方案测试步骤

  1. 准备演练环境

主机
 memcached主目录
 端口
192.168.163.146 （hadoop1）
 /usr/local/memcached/
 11211
192.168.163.156 （hadoop2） /usr/local/memcached/ 11211
192.168.163.166 （hadoop3） /usr/local/memcached/ 11211

安装不久罗列了，请参照《memcached演练(1) 搭建memcached服务》

2.准备测试代码

1
2
3
4
5
6
7
8
9
10
11
12
13
     public  void  testSet()  throws  ExecutionException, InterruptedException, IOException {
         final  MemcachedClient mcc =   new  MemcachedClient( new  BinaryConnectionFactory(),AddrUtil.getAddresses( "192.168.163.146:11211 192.168.163.156:11211 192.168.163.166:11211" ));
         for ( int  i= 0 ;i< 50 ;i++){
             mcc.set( "clusterKey_" +StringUtils.leftPad( "" +i, 4 , "0" ),  19000 ,  "clusterValue_" +i);
         }
         System.out.println( "set ok" );
 
         for ( int  i= 0 ;i< 50 ;i++){
             Object o = mcc.get( "clusterKey_"  + StringUtils.leftPad( "" +i, 4 , "0" ));
             System.out.println(o);
         }
//        mcc.shutdown();
     }

3.测试结果分析

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
[root@hadoop3 scripts] # ./memcached-tool hadoop1:11211 dump |sort
Dumping memcache contents
   Number of buckets: 1
   Number of items  : 16
Dumping bucket 1 - 16 total items
add clusterKey_0002 0 1471374793 14
add clusterKey_0005 0 1471374793 14
add clusterKey_0008 0 1471374793 14
add clusterKey_0011 0 1471374793 15
add clusterKey_0014 0 1471374793 15
add clusterKey_0017 0 1471374793 15
add clusterKey_0020 0 1471374793 15
add clusterKey_0023 0 1471374793 15
add clusterKey_0026 0 1471374793 15
add clusterKey_0029 0 1471374793 15
add clusterKey_0032 0 1471374793 15
add clusterKey_0035 0 1471374793 15
add clusterKey_0038 0 1471374793 15
add clusterKey_0041 0 1471374793 15
add clusterKey_0044 0 1471374793 15
add clusterKey_0047 0 1471374793 15
 
[root@hadoop3 scripts] # ./memcached-tool hadoop2:11211 dump |sort
Dumping memcache contents
   Number of buckets: 1
   Number of items  : 17
Dumping bucket 1 - 17 total items
add clusterKey_0000 0 1471374795 14
add clusterKey_0003 0 1471374795 14
add clusterKey_0006 0 1471374795 14
add clusterKey_0009 0 1471374795 14
add clusterKey_0012 0 1471374795 15
add clusterKey_0015 0 1471374795 15
add clusterKey_0018 0 1471374795 15
add clusterKey_0021 0 1471374795 15
add clusterKey_0024 0 1471374795 15
add clusterKey_0027 0 1471374795 15
add clusterKey_0030 0 1471374795 15
add clusterKey_0033 0 1471374795 15
add clusterKey_0036 0 1471374795 15
add clusterKey_0039 0 1471374795 15
add clusterKey_0042 0 1471374795 15
add clusterKey_0045 0 1471374795 15
add clusterKey_0048 0 1471374795 15
 
[root@hadoop3 scripts] # ./memcached-tool hadoop3:11211 dump |sort
Dumping memcache contents
   Number of buckets: 1
   Number of items  : 17
Dumping bucket 1 - 17 total items
add clusterKey_0001 0 1471374794 14
add clusterKey_0004 0 1471374794 14
add clusterKey_0007 0 1471374794 14
add clusterKey_0010 0 1471374794 15
add clusterKey_0013 0 1471374794 15
add clusterKey_0016 0 1471374794 15
add clusterKey_0019 0 1471374794 15
add clusterKey_0022 0 1471374794 15
add clusterKey_0025 0 1471374794 15
add clusterKey_0028 0 1471374794 15
add clusterKey_0031 0 1471374794 15
add clusterKey_0034 0 1471374794 15
add clusterKey_0037 0 1471374794 15
add clusterKey_0040 0 1471374794 15
add clusterKey_0043 0 1471374794 15
add clusterKey_0046 0 1471374794 15
add clusterKey_0049 0 1471374794 15

上面数据，简单整理成图，很直观，数据分布很分散的。这样的好处，可以减少热点。

wKioL1ezIXnBL7KNAAByVS4wDqE461.png


值得注意的是

1
  final  MemcachedClient mcc =   new  MemcachedClient( new  BinaryConnectionFactory(),AddrUtil.getAddresses( "192.168.163.146:11211 192.168.163.156:11211 192.168.163.166:11211" ));

AddrUtil.getAddresses参数，可以重复添加节点信息，这就相当于机器有权重的感觉了，明显会造成数据分布不均匀。

4.测试下权重情况下的数据分布

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
public  class  SpyMemcachedClusterTest  extends  TestCase
{
 
     public  void  testSet()  throws  ExecutionException, InterruptedException, IOException {
         final  MemcachedClient mcc =   new  MemcachedClient( new  BinaryConnectionFactory(),AddrUtil.getAddresses( "192.168.163.146:11211 192.168.163.146:11211 192.168.163.146:11211 192.168.163.156:11211 192.168.163.156:11211 192.168.163.166:11211" ));
         for ( int  i= 0 ;i< 150 ;i++){
             mcc.set( "clusterKey_" +StringUtils.leftPad( "" +i, 4 , "0" ),  19000 ,  "clusterValue_" +i);
         }
         System.out.println( "ok" );
//        mcc.shutdown();
         for ( int  i= 0 ;i< 150 ;i++){
             Object o = mcc.get( "clusterKey_"  + StringUtils.leftPad( "" +i, 4 , "0" ));
             System.out.println(o);
         }
 
     }
}

测试结果截图

wKiom1ezI76hDt6nAAA7-miCN8c134.png

两图比较：是不是很容易，就看出来了。一致性可以从数据分布方面考虑，还是非常平均的，但数据量的分布，就和权重有关系。基本就是 3:2:1。和上面程序代码中配置的权重基本一致。

继续做实验。

5.剔出一个节点，看看命中率

1
2
3
4
5
6
7
8
9
10
11
12
13
public  void  testGets()  throws  ExecutionException, InterruptedException, IOException{
     final  MemcachedClient mcc =   new  MemcachedClient( new  BinaryConnectionFactory(),AddrUtil.getAddresses( " 192.168.163.146:11211 192.168.163.146:11211 192.168.163.156:11211 192.168.163.156:11211 192.168.163.166:11211" ));
     int  nohit= 0 ;
     for ( int  i= 0 ;i< 150 ;i++){
         String key =  "clusterKey_"  + StringUtils.leftPad( ""  + i,  4 ,  "0" );
         Object o = mcc.get(key);
         if (o== null ){
             System.out.println(key+ "未命中" );
             nohit++;
         }
     }
     System.out.println( "丢失：" +nohit);
}

修改内容，hadoop1:hadoop2:hadoop3，有原来的 3:2:1分布，修改成2:2:1分布。

测试结果

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
clusterKey_0001未命中    
clusterKey_0002未命中    
clusterKey_0010未命中    
clusterKey_0011未命中    
clusterKey_0019未命中    
clusterKey_0020未命中    
clusterKey_0028未命中    
clusterKey_0037未命中    
clusterKey_0039未命中    
clusterKey_0046未命中    
clusterKey_0048未命中    
clusterKey_0049未命中    
clusterKey_0055未命中    
clusterKey_0057未命中    
clusterKey_0058未命中    
clusterKey_0064未命中    
clusterKey_0066未命中    
clusterKey_0067未命中    
clusterKey_0069未命中    
clusterKey_0073未命中    
clusterKey_0075未命中    
clusterKey_0076未命中    
clusterKey_0078未命中    
clusterKey_0079未命中    
clusterKey_0082未命中    
clusterKey_0084未命中    
clusterKey_0085未命中    
clusterKey_0087未命中    
clusterKey_0088未命中    
clusterKey_0089未命中    
clusterKey_0091未命中    
clusterKey_0093未命中    
clusterKey_0094未命中    
clusterKey_0096未命中    
clusterKey_0097未命中    
clusterKey_0098未命中    
clusterKey_0099未命中    
clusterKey_0100未命中    
clusterKey_0101未命中    
clusterKey_0109未命中    
clusterKey_0110未命中    
clusterKey_0118未命中    
clusterKey_0127未命中    
clusterKey_0129未命中    
clusterKey_0136未命中    
clusterKey_0138未命中    
clusterKey_0139未命中    
clusterKey_0145未命中    
clusterKey_0147未命中    
clusterKey_0148未命中    
丢失： 50

丢失了1/3。

即使改成 3:2,丢失也基本上到达1/3。 这个问题需要重视，否则非常容易产生缓存穿透情况。

在以后，会研究下spymemcached的一致性算法。



本文转自 randy_shandong 51CTO博客，原文链接：http://blog.51cto.com/dba10g/1839379，如需转载请自行联系原作者

文章标签：
Memcache
测试技术
关键词：
memcached集群
memcached高可用
memcached演练
技术小阿哥
目录
相关文章
赵渝强老师
|
3月前
|
存储 缓存 NoSQL
【赵渝强老师】Memcached集群的架构
Memcached 是一个高性能的分布式内存对象缓存系统，通过在内存中维护一个巨大的 Hash 表来存储各种格式的数据，如图像、视频、文件及数据库检索结果等。它主要用于减轻数据库压力，提高网站系统的性能。Memcached 不支持数据持久化，因此仅作为缓存技术使用。其数据分布式存储由客户端应用程序实现，而非服务端。
赵渝强老师
122 0
【赵渝强老师】Memcached集群的架构
冰封三尺非一日之寒
|
网络协议 开发工具
搭建memcached 主主复制+keepalived 高可用
搭建memcached 主主复制+keepalived 高可用
冰封三尺非一日之寒
67 0
魏红斌
|
XML 前端开发 网络协议
运维工程师面试题总结-Tomcat服务及Memcached Tomcat集 群及JVM优化12
个人学习
魏红斌
160 0
再现理想
|
算法 PHP
PHP取模hash和一致性hash操作Memcached分布式集群
本篇笔记记录了PHP使用Memcached扩展，采用取模hash和一致性hash算法操作Memcached分布式集群的实现对比
再现理想
1483 0
技术小胖子
|
存储 监控 算法
memcached详细介绍，安装，高可用，分布式案例，监控
技术小胖子
1537 0
科技探索者
|
存储 缓存 PHP
memcached实现集群中的session共享存储优缺点
科技探索者
1154 0
科技小能手
|
C语言
memcached+magent组成高可用
科技小能手
1234 0
wilson9527
|
测试技术 Docker Memcache
docker 构建magent的memcached 集群
基于swarm 构建magent的memcached 集群： Magent 是一款开源的 Memcached 代理服务器软件，使用它可以搭建高可用性的集群应用的 Memcached 服务 ，备份 Memcached 数据，尽管 Memcached 服务挂掉，前端也能获取到数据，客户端先连到 Magent 代理服务器 ，然后Magent 代理服务器 在可以连接多台 Memcached 服务器，然后可以进行数据的保存和备份数据。
wilson9527
1798 0
科技小能手
|
Web App开发 应用服务中间件 测试技术
Tomcat集群使用Memcached实现Session共享
科技小能手
1553 0
科技小能手
|
SQL Web App开发 关系型数据库
nginx+PHP+memcached+MySQL+ip-hash做memcached集群
科技小能手
5088 0

热门文章

最新文章

  • 1
    Java中的分布式缓存与Memcached集成实战
  • 2
    CentOS6.9源码编译安装php-memcached扩展
  • 3
    memcache与memcached的区别与安装
  • 4
    debian wheezy 编译 php5-memcached
  • 5
    memcached 在生产环境下安装脚本
  • 6
    安装mysql和memcached
  • 7
    艾伟：分布式缓存系统Memcached简介与实践
  • 8
    CentOS 下安装编译安装MeMcached
  • 9
    Memcached 监控
  • 10
    35. Python Memcached 常用方法
  • 1
    Java中的分布式缓存与Memcached集成实战
    39
  • 2
    【赵渝强老师】Memcached的数据存储方式
    69
  • 3
    【赵渝强老师】Memcached集群的架构
    122
  • 4
    redis,memcached,nginx网络组件
    38
  • 5
    智能家居新篇章：WPF与物联网的智慧碰撞——通过MQTT协议连接与控制智能设备，打造现代科技生活的完美体验
    205
  • 6
    pyhon之对memcached及redis操作
    58
  • 7
    Django后端架构开发：缓存机制，接口缓存、文件缓存、数据库缓存与Memcached缓存
    145
  • 8
    Memcached玩转Web性能：一致性哈希、数据持久化，一文全掌握！
    81
  • 9
    【缓存大对决】Memcached VS MySQL查询缓存，谁才是真正的性能之王？
    222
  • 10
    深入解析Memcached：内部机制、存储结构及在大数据中的应用
    504

    • 相关电子书

    更多
  • Codis 集群演化与 Redis 异步迁移
  • PostgreSQL复制原理及高可用集群
  • 云平台环境PostgreSQL 高可用集群方案

    • 相关实验场景

    更多
  • 快速搭建高可用网站服务
  • RDS MySQL高并发访问下的系统稳定性
  • 使用DAS实现数据库自动扩容和回缩
  • 如何开通Redis的专属集群
  • 灵活弹性的PolarDB Serverless确保数据业务持续在线
  • 体验PolarDB MySQL多主集群
    • 下一篇
    阿里云oss简介和如何对接使用