《高性能Linux服务器构建实战》——3.4节通过UDFs实现Memcached与MySQL的自动更新

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介: 本节书摘来自华章社区《高性能Linux服务器构建实战》一书中的第3章,第3.4节通过UDFs实现Memcached与MySQL的自动更新,作者:高俊峰,更多章节内容可以访问云栖社区“华章社区”公众号查看

3.4 通过UDFs实现Memcached与MySQL的自动更新

3.4.1 UDFs使用简介
UDFs是User Defined Functions的缩写,表示MySQL的用户定义函数,应用程序可以利用这些函数从MySQL 5.0以上版本的数据库中访问Memcached写入或者获取的数据。此外,MySQL从5.1版本开始支持触发器,从而可以在触发器中使用UDFs直接更新Memcached的内容,这种方式降低了应用程序设计和编写的复杂性。下面简单介绍UDFs的安装和使用。
安装UDFs需要在数据库服务器上安装两个包,分别是libmemcached和memcached_functions_mysql,这两个包都可以从http://download.tangent.org/下载。安装过程如下。
1)需要的软件有memcached-1.2.6、libevent-1.4.4-stable、libmemcached-0.30,这些软件的安装非常简单,因此不做说明。
2)安装mysql5.1,也不做说明。
3)安装memcached_functions_mysql。基本步骤如下:

[root@web181 ~]#wget http://download.tangent.org/memcached_functions_mysql-0.9.tar.gz
[root@web181 ~]#tar zxvf memcached_functions_mysql-0.9.tar.gz
[root@web181 ~]#cd memcached_functions_mysql-0.9
[root@web181 memcached_functions_mysql-0.9]#./configure \
>--with-mysql=/usr/local/mysql51/bin/mysql_config
[root@web181 memcached_functions_mysql-0.9]#make && make install

首次需要使用CREATE FUNCTION来初始化用户定义函数。有两种方法可以初始化所有MySQL提供的用户定义函数:
第一种方法是在MySQL的SQL命令行中执行memcached_functions_mysql源码目录下的sql/install_functions.sql。第二种方法是运行memcached_functions_mysql源码目录下的utils/install.pl这个Perl脚本,把memcache function作为UDFs加入MySQL。
4)执行下面SQL命令,查看安装是否成功。

mysql>select name,dl from mysql.func;
+------------------------------+---------------------------------+
| name                         | dl                              |
+------------------------------+---------------------------------+
| memc_add                     | libmemcached_functions_mysql.so | 
| memc_add_by_key              | libmemcached_functions_mysql.so | 
| memc_servers_set             | libmemcached_functions_mysql.so | 
| memc_server_count            | libmemcached_functions_mysql.so | 
| memc_set                     | libmemcached_functions_mysql.so | 
| memc_set_by_key              | libmemcached_functions_mysql.so | 
| memc_cas                     | libmemcached_functions_mysql.so | 
| memc_cas_by_key              | libmemcached_functions_mysql.so | 
| memc_get                     | libmemcached_functions_mysql.so | 
| memc_get_by_key              | libmemcached_functions_mysql.so | 
| memc_delete                  | libmemcached_functions_mysql.so | 
| memc_delete_by_key           | libmemcached_functions_mysql.so | 
| memc_append                  | libmemcached_functions_mysql.so | 
| memc_append_by_key           | libmemcached_functions_mysql.so | 
| memc_prepend                 | libmemcached_functions_mysql.so | 
| memc_prepend_by_key          | libmemcached_functions_mysql.so | 
| memc_increment               | libmemcached_functions_mysql.so | 
| memc_decrement               | libmemcached_functions_mysql.so | 
| memc_replace                 | libmemcached_functions_mysql.so | 
| memc_replace_by_key          | libmemcached_functions_mysql.so | 
| memc_servers_behavior_set    | libmemcached_functions_mysql.so | 
| memc_servers_behavior_get    | libmemcached_functions_mysql.so | 
| memc_behavior_set            | libmemcached_functions_mysql.so | 
| memc_behavior_get            | libmemcached_functions_mysql.so | 
| memc_list_behaviors          | libmemcached_functions_mysql.so | 
| memc_list_hash_types         | libmemcached_functions_mysql.so | 
| memc_list_distribution_types | libmemcached_functions_mysql.so | 
| memc_udf_version             | libmemcached_functions_mysql.so | 
| memc_libmemcached_version    | libmemcached_functions_mysql.so | 
| memc_stats                   | libmemcached_functions_mysql.so | 
| memc_stat_get_keys           | libmemcached_functions_mysql.so | 
| memc_stat_get_value          | libmemcached_functions_mysql.so | 
+------------------------------+---------------------------------+
32 rows in set (0.00 sec)

3.4.2 memcached_functions_mysql应用实例
下面通过一个具体的实例来演示memcached_functions_mysql的使用方法。
1.创建两张表
新建两张表:urls和results,更新urls表中的内容,使系统自动更新Memcached的内容。results用来记录更新Memcached失败的记录。
SQL代码如下:

use tests;
drop table if exists urls;
CREATE TABLE `urls` (
  `id` int(10) NOT NULL,
  `url` varchar(255) NOT NULL DEFAULT '',
  PRIMARY KEY (`id`)
);

drop table if exists results;
CREATE TABLE `results` (
  `id` int(10) NOT NULL,
  `result` varchar(255) NOT NULL DEFAULT 'error',
  `time` timestamp NULL DEFAULT CURRENT_TIMESTAMP,
  PRIMARY KEY (`id`)
);

2.建立3个trigger
当向urls表中插入数据时,对Memcached执行set操作。trigger的代码如下:

DELIMITER //
DROP TRIGGER IF EXISTS url_mem_insert;
CREATE TRIGGER url_mem_insert
BEFORE INSERT ON urls
FOR EACH ROW BEGIN
    set @mm = memc_set(NEW.id, NEW.url);
    if @mm <> 0 then
    insert into results(id) values(NEW.id);
    end if; 

END //
DELIMITER ;

当对urls表中的数据进行更新时,对Memcached执行replace操作。trigger代码如下:

DELIMITER //
DROP TRIGGER IF EXISTS url_mem_update;
CREATE TRIGGER url_mem_update
BEFORE UPDATE ON urls
FOR EACH ROW BEGIN
    set @mm = memc_replace(OLD.id,NEW.url);
    if @mm <> 0 then
    insert into results(id) values(OLD.id);
    end if; 

END //
DELIMITER ;

当对urls表中的数据进行删除操作时,对Memcached执行delete操作。trigger代码如下:

DELIMITER //
DROP TRIGGER IF EXISTS url_mem_delete;
CREATE TRIGGER url_mem_delete
BEFORE DELETE ON urls
FOR EACH ROW BEGIN
    set @mm = memc_delete(OLD.ID);
    if @mm <> 0 then
    insert into results(id) values(OLD.id);
    end if; 

END //
DELIMITER ;

3.设置Memcached相关参数
设置UDFs操作Memcaced服务器的IP地址和端口。

mysql>SELECT memc_servers_set('192.168.1.184:11900');
+---------------------------------------+
| memc_servers_set('192.168.1.184:11900') |
+---------------------------------------+
|                                     0 | 
+---------------------------------------+
1 row in set (0.00 sec)

mysql>select memc_server_count();
+---------------------+
| memc_server_count() |
+---------------------+
|                   1 | 
+---------------------+
1 row in set (0.00 sec)

在MySQL命令行中列出可以修改Memcached参数的行为,执行的命令和输出结果如下:

mysql>select memc_list_behaviors()\G
*************************** 1. row ***************************
memc_list_behaviors(): 
MEMCACHED SERVER BEHAVIORS
MEMCACHED_BEHAVIOR_SUPPORT_CAS
MEMCACHED_BEHAVIOR_NO_BLOCK
MEMCACHED_BEHAVIOR_TCP_NODELAY
MEMCACHED_BEHAVIOR_HASH
MEMCACHED_BEHAVIOR_CACHE_LOOKUPS
MEMCACHED_BEHAVIOR_SOCKET_SEND_SIZE
MEMCACHED_BEHAVIOR_SOCKET_RECV_SIZE
MEMCACHED_BEHAVIOR_BUFFER_REQUESTS
MEMCACHED_BEHAVIOR_KETAMA
MEMCACHED_BEHAVIOR_POLL_TIMEOUT
MEMCACHED_BEHAVIOR_RETRY_TIMEOUT
MEMCACHED_BEHAVIOR_DISTRIBUTION
MEMCACHED_BEHAVIOR_BUFFER_REQUESTS
MEMCACHED_BEHAVIOR_USER_DATA
MEMCACHED_BEHAVIOR_SORT_HOSTS
MEMCACHED_BEHAVIOR_VERIFY_KEY
MEMCACHED_BEHAVIOR_CONNECT_TIMEOUT
MEMCACHED_BEHAVIOR_KETAMA_WEIGHTED
MEMCACHED_BEHAVIOR_KETAMA_HASH
MEMCACHED_BEHAVIOR_BINARY_PROTOCOL
MEMCACHED_BEHAVIOR_SND_TIMEOUT
MEMCACHED_BEHAVIOR_RCV_TIMEOUT
MEMCACHED_BEHAVIOR_SERVER_FAILURE_LIMIT
MEMCACHED_BEHAVIOR_IO_MSG_WATERMARK
MEMCACHED_BEHAVIOR_IO_BYTES_WATERMARK

1 row in set (0.00 sec)
设置MEMCACHED_BEHAVIOR_NO_BLOCK为打开状态,这样在Memcached出现问题(不能连接)时,数据可以继续插入MySQL中,但有报错提示;如果不设置此值,那么Memcached失败时,数据需要等到Memcached失败超时后才可以插入到表中。
通过下面的设置,可以避免这种情况的发生。

mysql>select memc_servers_behavior_set('MEMCACHED_BEHAVIOR_NO_BLOCK','1');
+--------------------------------------------------------------+
| memc_servers_behavior_set('MEMCACHED_BEHAVIOR_NO_BLOCK','1') |
+--------------------------------------------------------------+
|                                                          0 | 
+--------------------------------------------------------------+
1 row in set (0.00 sec)

mysql>select memc_servers_behavior_set('MEMCACHED_BEHAVIOR_TCP_NODELAY','1');
+-----------------------------------------------------------------+
| memc_servers_behavior_set('MEMCACHED_BEHAVIOR_TCP_NODELAY','1') |
+-----------------------------------------------------------------+
|                                                             0 | 
+-----------------------------------------------------------------+
1 row in set (0.00 sec)

3.4.3 对memcached_functions_mysql的简单功能进行测试
1)向表urls中插入数据,然后查看Memcached是否对数据执行set操作。

mysql>insert into urls (id,url) values (1, 'http://www.test.com.cn');
Query OK, 1 row affected, 1 warning (0.00 sec)

mysql> select memc_get('1');   
+------------------------+
| memc_get('1')      |
+------------------------+
| http://www.test.com | 
+------------------------+
1 row in set (0.00 sec)


1>telnet 192.168.1.184 11900
Trying 192.168.1.184...
Connected to 192.168.1.184 (192.168.1.184).
Escape character is '^]'.
get 1
VALUE 1 0 22
http://www.test.com.cn
END

2)更新表urls里面的数据,然后查询Memcached中是否也进行了更新。

mysql>update test.urls set url='http://blog.test.com.cn' where id=1;
Query OK, 1 row affected, 1 warning (0.00 sec)
Rows matched: 1  Changed: 1  Warnings: 0

mysql> select memc_replace('1','http://blog.test.com.cn');  
+---------------------------------------------+
| memc_replace('1','http://blog.test.com.cn') |
+---------------------------------------------+
|                                   0 | 
+---------------------------------------------+
1 row in set (0.00 sec)

mysql> select memc_get('1');   
+-------------------------+
| memc_get('1')           |
+-------------------------+
| http://blog.test.com.cn | 
+-------------------------+
1 row in set (0.00 sec)

1>telnet 192.168.1.184 11900
Trying 192.168.1.184...
Connected to 192.168.1.184 (192.168.1.184).
Escape character is '^]'.
get 1
VALUE 1 0 23
http://blog.test.com.cn
END

3)删除表urls中的数据,然后查看Memcached是否也将该数据删除了。

mysql>delete from test.urls where id=1;
Query OK, 1 row affected, 1 warning (0.00 sec)
Rows matched: 1  Changed: 1  Warnings: 0

mysql> select memc_get('1');   
+---------------+
| memc_get('1') |
+---------------+
| NULL          | 
+---------------+
1 row in set (0.00 sec)

1>telnet 192.168.1.184 11900
Trying 192.168.1.184...
Connected to 192.168.1.184 (192.168.1.184).
Escape character is '^]'.
get 1
END

3.4.4 使用memcached_functions_mysql的经验与技巧
memcached_functions_mysql使用起来比较简单,但是由于环境的差别,在实践过程中可能会遇到诸多的问题。下面总结了一些在使用memcached_functions_mysq过程中可能出现的问题和注意事项。

  1. MySQL重启问题
    如果MySQL服务器出现重启,需要重新设置连接Memcached关系(SELECT memc_servers_set('192.168.1.184:11900'))。

2.程序BUG问题
memcached_functions_mysql的源程序有可能存在bug,并且会导致MySQL的失败。针对这个问题,读者要尽量选择源程序的稳定版本。
3.网络因素
网络因素是指MySQL和Memcached是否处在同一个IDC、它们之间的网络性能是否很好。网络性能越好,则速度越快。使用本机的Memcached可以适当减少网络开销。
4.插入的数据量
插入数据量的大小包含两个方面:向MySQL插入每条记录的大小,向Memcached中更新数据的大小。更新MySQL、Memcached的数据越大,更新的速度越慢。因此,要做好前期规划。
5.延时问题
如果MySQL所在的机器使用的资源比较大,会导致更新Memcached过于缓慢,即出现类似m/s的延时问题。
6.容灾问题
如果MySQL和Memcached中有宕机情况出现时,需要考虑怎么恢复,根据前一小节的测试可以这样考虑:建一张错误表,如果在更新mc时出现问题,自动把更新错误的记录插到这张表中,通过查询这张表,可以知道哪些数据在什么时间出现过更新错误。
如果memcached_functions_mysql应用于生产环境,需要考虑监控和出现问题时的恢复工作(写好脚本以完善这个工作)。

  1. MySQL自身因素
    如执行的MySQL语句的效率以及连接MySQL的client程序(php)的连接开销等,这些问题都需要考虑。
相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
14天前
|
运维 监控 Linux
服务器管理面板大盘点: 8款开源面板助你轻松管理Linux服务器
在数字化时代,服务器作为数据存储和计算的核心设备,其管理效率与安全性直接关系到业务的稳定性和可持续发展。随着技术的不断进步,开源社区涌现出众多服务器管理面板,这些工具以其强大的功能、灵活的配置和友好的用户界面,极大地简化了Linux服务器的管理工作。本文将详细介绍8款开源的服务器管理面板,包括Websoft9、宝塔、cPanel、1Panel等,旨在帮助运维人员更好地选择和使用这些工具,提升服务器管理效率。
|
2月前
|
监控 Linux Shell
|
22天前
|
安全 算法 Linux
Linux 服务器还有漏洞?建议使用 OpenVAS 日常检查!
在数字化时代,Linux 服务器的安全至关重要。OpenVAS 是一款优秀的开源漏洞扫描工具,可以帮助及时发现并修复服务器中的安全隐患。本文将介绍 OpenVAS 的主要功能、使用方法及应对漏洞的措施,帮助用户加强服务器安全管理,确保企业数字化安全。
46 7
|
1月前
|
缓存 监控 Linux
Python 实时获取Linux服务器信息
Python 实时获取Linux服务器信息
|
24天前
|
监控 Ubuntu Linux
使用VSCode通过SSH远程登录阿里云Linux服务器异常崩溃
通过 VSCode 的 Remote - SSH 插件远程连接阿里云 Ubuntu 22 服务器时,会因高 CPU 使用率导致连接断开。经排查发现,VSCode 连接根目录 ".." 时会频繁调用"rg"(ripgrep)进行文件搜索,导致 CPU 负载过高。解决方法是将连接目录改为"root"(或其他具体的路径),避免不必要的文件检索,从而恢复正常连接。
|
27天前
|
缓存 Unix Linux
服务器linux!!!
本文介绍了计算机的演变历史、硬件基础知识及服务器相关知识。从电子管时代的ENIAC到冯-诺伊曼架构,再到现代计算机系统组成,详细讲解了计算机的发展历程。此外,文章还介绍了服务器的分类、品牌、硬件组成以及IDC机房的上架流程,为读者提供了全面的技术背景知识。
41 0
服务器linux!!!
|
29天前
|
人工智能 安全 Linux
|
1月前
|
Linux 数据库
Linux服务如何实现服务器重启后的服务延迟自启动?
【10月更文挑战第25天】Linux服务如何实现服务器重启后的服务延迟自启动?
166 3
|
1月前
|
存储 安全 关系型数据库
Linux系统在服务器领域的应用与优势###
本文深入探讨了Linux操作系统在服务器领域的广泛应用及其显著优势。通过分析其开源性、安全性、稳定性和高效性,揭示了为何Linux成为众多企业和开发者的首选服务器操作系统。文章还列举了Linux在服务器管理、性能优化和社区支持等方面的具体优势,为读者提供了全面而深入的理解。 ###
|
29天前
|
Linux
Linux 修改服务器时间
【10月更文挑战第27天】Linux 修改服务器时间
68 0