Memcached原理

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS MySQL,高可用系列 2核4GB
简介:

Memcached介绍

  • Memcached是国外社区网站LiveJournal团队开发,目的是为了通过缓存数据库查询结果,减少数据库访问次数,从而提高动态web站点性能。

  • 官方站点 http://www.memcached.org/

  • 数据结构简单(k-v),数据存放在内存里

  • 多线程

  • 基于c/s架构,协议简单

  • 基于libevent的事件处理

  • 自主内存存储处理(slab allowcation)

  • 数据过期方式:Lazy Expiration 和 LRU


Memcached的数据流向

一般使用目的是,通过缓存数据库查询结果,减少数据库访问次数,以提高动态web应用的速度、提高可扩展性。

GDllFkh6cF.png

正常的作业流程是:

用户发起请求给NGINX,然后再次调用PHP,PHP和mysql打交道,当用户PHP获取到请求转给NGINX,NGINX再次把请求数据交给用户。

如果并发量很大,请求mysql的队列比较多,这时候就需要增加一个缓存层Memcached。这样访问过的数据全部丢在缓存中,当再次请求这个数据的时候就直接从Memcached读取即可。


Slab allocation

GDllFkh6cF.png


Slab Allocation的原理

  • 将分配的内存分割成各种尺寸的块(chunk), 并把尺寸相同的块分成组(chunk的集合),每个chunk集合被称为slab。

  • Memcached的内存分配以Page为单位,Page默认值为1M,可以在启动时通过-I 参数来指定。

  • Slab是由多个Page组成的,Page按照指定大小切割成多个chunk。


Growth factor

  • Memcached在启动时通过-f选项可以指定 Growth Factor因子。该值控制chunk大小的差异。默认值为1.25。

  • 通过memcached-tool命令查看指定Memcached实例的不同slab状态,可以看到各Item所占大小(chunk大小)差距为1.25

  • 命令:# memcached-tool 127.0.0.1:11211 display


Memcached的数据过期方式

Lazy Expiration

Memcached 内部不会监视记录是否过期,而是在get时查看记录的时间戳,检查记录是否过期。这种技术被称为lazy(惰性)expiration。因此,Memcached不会在过期监视上耗费CPU时间。

LRU机制

Memcached会优先使用已超时的记录的空间,但即使如此,也会发生追加新记录时空间不足的情况,此时就要使用名为Least Recently Used(LRU)机制来分配空间。顾名思义,这是删除“最近最少使用”的记录的机制。因此,当内存空间不足时(无法从slab class获取到新的空间时),就从最近未被使用的记录中搜索,并将其空间分配给新的记录。从缓存的实用角度来看,该模型十分理想。


安装 memcached

1
<span style= "font-family: 微软雅黑, "Microsoft YaHei";" >yum  install  -y memcached libmemcached libevent<br> <br>systemctl start memcached<br> <br>[root@juispan ~] # netstat -lntp<br>Active Internet connections (only servers)<br>Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    <br>tcp        0      0 0.0.0.0:11211           0.0.0.0:*               LISTEN      2899/memcached   <br><br>[root@juispan ~]# ps aux | grep memcached<br>memcach+   2899  0.0  0.1 325556  1180 ?        Ssl  22:02   0:00 /usr/bin/memcached -u memcached -p 11211 -m 64 -c 1024<br><br>vim /etc/sysconfig/memcached<br></span>

配置参数

  • 比如加上监听的ip,可以把OPTIONS=”” 改为OPTIONS=”127.0.0.1″

  • 其中-m 指定memcached分配内存

  • -c 指定最大并发数

  • -u 指定运行memcached服务的用户


查看Memcached运行状态

方式一:

1
<span style= "font-family: 微软雅黑, "Microsoft YaHei";" >memcached-tool 127.0.0.1:11211 stats<br>< /span >

方式二:

1
<span style= "font-family: 微软雅黑, "Microsoft YaHei";" >yum  install  -y nc<br><br> echo  stats |nc 127.0.0.1 11211<br>< /span >

方式三:

1
<span style= "font-family: 微软雅黑, "Microsoft YaHei";" >memstat --servers=127.0.0.1:11211<br>< /span >


Memcached扩展

Memcached是怎么工作的?

Memcached的高性能源于两阶段哈希(two-stage hash)结构。Memcached就像一个巨大的、存储了很多<key,value>对的哈希表。通过key,可以存储或查询任意的数据。 客户端 可以把数据存储在多台memcached上。当查询数据时,客户端首先参考节点列表计算出key的哈希值(阶段一哈希),进而选中一个节点;客户端将请求发送给选中的节点,然后 memcached节点通过一个内部的哈希算法(阶段二哈希),查找真正的数据(item)并返回给客户端。从实现的角度看,memcached是一个非阻塞的、基于事件的服务器程序。

Memcached的存取对应的服务器:

在查Memcached的时候经常会想到一个问题:“如果我将东西分别存在不同的服务器上面,那么memcached是如何分配这些数据在哪些服务器上面呢? 取的时候又是如何取的呢?”查到了一个博主的解析说:“memcached分布式环境下,每个服务器端本身没有相互连接,它的数据分布其实是由客户端来维持的,客户端按照自己的分布算法来讲数据分配给指定的服务器,取的时候客户端再查找指定的服务器!”可是我还没有做过测试,所等我做了测试之后让我用数据来说明一切吧!

GDllFkh6cF.png

Memcached分布式集群:

Memcached是通过在内存中开辟一块区域来维持一个大的hash表来加快前台页面对数据库的数据访问的!它和数据库是独立的,不用经过硬盘,目前主要用来缓存数据库中变动不大的数据。允许多个server通过网络形成一个大的hash,用户不必关心数据存放在哪,只调用相关接口就可。这就是memcached的分布式集群!

Memcached 的优势:

Memcached最大的好处就是它带来了极佳的水平可扩展性,特别是在一个巨大的系统中。由于客户端自己做了一次哈希,那么我们很容易增加大量memcached到集群中。memcached 之间没有相互通信,因此不会增加 memcached的负载;没有多播协议,不会网络通信量爆炸(implode)。


memcached和MySQL的query cache相比,有什么优缺点?

缺点:相比MySQL的query cache,把Memcached引入应用中需要不少的工作量。MySQL的query cache,可以自动地缓存SQL查询的结果,被缓存的SQL查询可以被反复、快速的执行。

优点:

1)当修改表时,MySQL的query cache会立刻被刷新(flush)。当写操作很频繁时,MySQL的query cache会经常让所有缓存数据都失效。

2)在多核CPU上,MySQL的query cache会遇到扩展问题(scalability issues)。在多核CPU上,query cache会增加一个全局锁(global lock), 由于需要刷新更多的缓存数据,速度会变得更慢。

3)在MySQL的query cache中,是不能存储任意的数据的(只能是SQL查询结果)。利用memcached,我们可以搭建出各种高效的缓存。比如,可以执行多个独立的查询,构建出一个用户对象(user object),然后将用户对象缓存到memcached中。而query cache是SQL语句级别的,不可能做到这一点。在小的网站中,query cache会有所帮助,但随着网站规模的增加,query cache的弊将大于利。

4)query cache能够利用的内存容量受到MySQL服务器空闲内存空间的限制。给数据库服务器增加更多的内存来缓存数据,固然是很好的。但是,有了memcached,只要您有空闲的内存,都可以用来增加memcached集群的规模,然后您就可以缓存更多的数据。











本文转自Grodd51CTO博客,原文链接:http://blog.51cto.com/juispan/2067522,如需转载请自行联系原作者
相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
安全 Memcache 移动开发
Memcached命令执行漏洞(CVE-2016-8704、CVE-2016-8705、CVE-2016-8706)原理和对阿里云Memcache影响分析
Memcached是一个广泛使用的高速缓存系统,近期研究者发现小于1.4.33的版本存在3个整数溢出漏洞,通过这几个漏洞攻击者可以触发堆溢出导致crash,这里对漏洞做了分析和验证。尔后验证了阿里云ApsaraDB for Memcache不受漏洞影响,并分析了原因。
8008 0
|
存储 缓存 算法
《高性能Linux服务器构建实战》——3.2节剖析Memcached的工作原理
本节书摘来自华章社区《高性能Linux服务器构建实战》一书中的第3章,第3.2节剖析Memcached的工作原理,作者:高俊峰,更多章节内容可以访问云栖社区“华章社区”公众号查看
1423 0
|
存储 缓存 算法
Memcached工作原理
Memcached工作原理 @[memcached] [toc] 1. Memcached软件工作原理 memcached是一套C/S模式架构的软件,在服务器端启动服务守护进程,可以为memcached服务器指定监听的IP地址、端口号、并发访问连接数、以及分配多少内存来处理客户端的请求的参数; memcached软件是由C语言来实现的,全部代码仅有2000多行,采用的是异步I/O,其实现方式是基于事件的单进程和单线程的。
823 0
|
Web App开发 监控 Memcache
Memcached资料参考- 原理、安装、使用等
Memcached的大名相信很多人都知道,分布式缓存。 以下是几个很好的参考资料,在项目中可以方便得集成。 一个很详细的介绍相关原理和使用的文章系列,包括了应用的总结信息,很好的参考 memcached全面剖析–PDF总结篇  http://tech.
796 0
|
存储 监控 算法
memcached原理和实践篇
1.memcached简介 memcached是以LiveJournal旗下Danga Interactive公司的Brad Fitzpatric为首开发的一款软件。
1039 0
|
6月前
|
Linux Memcache
Linux - 安装memcached
Linux - 安装memcached
106 0
Linux - 安装memcached
|
5月前
|
缓存 Java Spring
SpringBoot配置第三方专业缓存技术Memcached 下载 安装 整合测试 2024年5000字详解
SpringBoot配置第三方专业缓存技术Memcached 下载 安装 整合测试 2024年5000字详解
44 0
|
12月前
|
Docker 容器
Docker下安装memcached
Docker下安装memcached
154 0
|
Shell C语言
脚本用源码来安装 memcached 服务器
脚本用源码来安装 memcached 服务器
51 1
|
Java 程序员
【memcached】下载、安装、、出错一分钟全搞定
【memcached】下载、安装、、出错一分钟全搞定
199 0