gearman实现redis缓存mysql

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介:

Gearman简介:

        Gearman是一个支持分布式的任务分发框架。设计简洁,获得了非常广泛的支持。一个典型的Gearman应用包括以下这些部分:

1、Gearman Job Server:Gearman核心程序,以守护进程形式运行在后台

2、Gearman Client:可以理解为任务的收件员,比如我要在后台执行一个发送邮件的任务,可以在程序中调用一个Gearman Client并传入邮件的信息,然后就可以将执行结果立即展示给用户,而任务本身会慢慢在后台运行。

3、Gearman Worker:任务的真正执行者,一般需要自己编写具体逻辑并通过守护进程方式运行,4、Gearman Worker接收到Gearman Client传递的任务内容后,会按顺序处理。

设计思路:

    首先利用mysql UDF(通过了lib_mysqludf_jsongearman-mysql-udf的组合实现)在mysql中的数据发生改变时触动触发器将数据传入Gearman中,这时的mysql相当于Gearman的clinet。然后运行自己编写的php程序作为worker,将Gearman中的数据传到Redis中去,这时的Redis相当于是Gearman的consumer。

 

实施过程:

1、  配置YUM源,安装gearmand

http://down.51cto.com/data/2274661    ##YUM包文件配置,和GEARMAND 需要的包

    1、yum install -y php-pecl-gearman libgearman  libgearman-devel gearmand nc

    2、启动服务/etc/init.d/gearmand start

    3、检查状态是否OK   netstat -alnutp |grep gearman

###gearman默认使用的端口为4370

2、  安装数据库、php-MySQL插件

    1、  数据库安装(略)

    2、  插件安装yum -yinstall php-mysql #安装这个插件主要是用PHP来数据收集写入操作

    3、  启动MySQL

3、在数据服务器上安装lib_mysqludf_json

    1、  unzip master.zip

    2、  cd lib_mysqludf_json-master

    3、  rm -rf lib_mysqludf_json.so

    4、  gcc $(mysql_config --cflags) -shared -fPIC -o lib_mysqludf_json.solib_mysqludf_json.c

##把重新编译的lib_mysqludf_json.so 拷贝到/usr/local/mysql/lib/plugin目录下

4、在数据服务器上安装gearman-mysql-udf

    1、  解压包tar xf gearman-mysql-udf-0.6.tar.gz -C ./

    2、  Cd gearman-mysql-udf-0.6

    3、  编译./configure--with-mysql=/usr/local/mysql/bin/mysql_config --libdir=/usr/local/mysql/lib/plugin/

#注意这是自己定义的数据安装包的目录,若用YUM包安装则用

./configure --with-mysql=/usr/bin/mysql_config  --libdir=/usr/lib64/plugin/

编译报错:configure: error:At least version 0.33 of libgearman is required for gearman-mysql-udf

安装:yum -y installlibgearman-devel #由于原来包版本低,重新安装个即可。

5、  安装make&& make install ##插件安装到MySQL的插件目录下。

6、进入数据库,创建对应的function,trigger及设置gearmanserver信息

                   1、createfunction json_object returns string soname 'lib_mysqludf_json.so'

                   2、create functiongman_do_background returns string soname 'libgearman_mysql_udf.so'

                   3、createfunction gman_servers_set returns string soname 'libgearman_mysql_udf.so';

7、安装redis#建议用3.0.7的版本且安装php连接redis的驱动,测试环境用yum安装redis

    1、yum install php-pecl-redis redis –y

    2、启动redis服务servie redis start

    3、登录redis简单验证

    root@nod1 gearman-mysql-udf-0.6]#redis-cli

    redis 127.0.0.1:6379> keys *

    1) "counter:__rand_int__"

    2) "key:__rand_int__"

    3) "save"

    4) "mylist"

8、登录数据库,根据业务对某个库下的某个表添加触发器,且设置gearman server的信

         1、/usr/local/mysql/bin/mysql-S /tmp/mysql3306.sock -p

         2、create database wy

         3、create table test(idint primary key,name char(20))

         4、设置gearman server信息##非常重要,若不执行会导致数据无法收集到REDIS中去

                   MariaDB [wy]> SELECTgman_servers_set('127.0.0.1:4730');

+------------------------------------+

| gman_servers_set('127.0.0.1:4730') |

+------------------------------------+

| 127.0.0.1:4730                     |

+------------------------------------+

9、  添加触发器

DELIMITER $$

CREATE TRIGGER datatoredis AFTER UPDATE ON test  FOR EACH ROW BEGIN

    SET@ret=gman_do_background('syncToRedis', json_object(NEW.id AS `id`, NEW.name AS`name`));

  END$$

DELIMITER ;

10、  编写一个worker程序,负责将gearman中的数据传入到redis中去:

文件名:redis_workder.php

1、编写:

2、启动phpredis_worker.php

启动报错:PHPWarning:  GearmanWorker::work():send_packet(GEARMAN_ERRNO) Failed to send server-options packet ->libgearman/connection.cc:485 in /home/redis_worker.php on line 8

解决办法:/usr/sbin/gearmand -d -L 127.0.0.1 -p 4730

然后在启动:nohup php redis_worker.php & 保持后台运行





    启动gearmand报错/var/log/mearmond.log错误未解决

    ERROR 2016-12-28 07:46:38.000000 [ main ] socket()(Address family not supported by protocol) ->libgearman-server/gearmand.cc:468

      ERROR 2016-12-28 07:46:38.000000 [  main ] gearmand_sockfd_close() called with aninvalid socket -> libgearman-server/io.cc:933


总结:

测试通过在MYSQL数据库写入数据,然后观察REDIS是否有数据,若有则成功,这种方式效率是非常低的,在100W数据,数据库写入性能降低非常大。

    



本文转自 DBAspace 51CTO博客,原文链接:http://blog.51cto.com/dbaspace/1887632

相关文章
|
1月前
|
缓存 NoSQL 关系型数据库
MySQL 与 Redis 如何保证双写一致性?
我是小假 期待与你的下一次相遇 ~
332 7
|
4月前
|
关系型数据库 应用服务中间件 nginx
Docker一键安装中间件(RocketMq、Nginx、MySql、Minio、Jenkins、Redis)
本系列脚本提供RocketMQ、Nginx、MySQL、MinIO、Jenkins和Redis的Docker一键安装与配置方案,适用于快速部署微服务基础环境。
|
6月前
|
缓存 NoSQL 关系型数据库
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
|
1月前
|
缓存 负载均衡 监控
135_负载均衡:Redis缓存 - 提高缓存命中率的配置与最佳实践
在现代大型语言模型(LLM)部署架构中,缓存系统扮演着至关重要的角色。随着LLM应用规模的不断扩大和用户需求的持续增长,如何构建高效、可靠的缓存架构成为系统性能优化的核心挑战。Redis作为业界领先的内存数据库,因其高性能、丰富的数据结构和灵活的配置选项,已成为LLM部署中首选的缓存解决方案。
|
1月前
|
NoSQL 算法 Redis
【Docker】(3)学习Docker中 镜像与容器数据卷、映射关系!手把手带你安装 MySql主从同步 和 Redis三主三从集群!并且进行主从切换与扩容操作,还有分析 哈希分区 等知识点!
Union文件系统(UnionFS)是一种**分层、轻量级并且高性能的文件系统**,它支持对文件系统的修改作为一次提交来一层层的叠加,同时可以将不同目录挂载到同一个虚拟文件系统下(unite several directories into a single virtual filesystem) Union 文件系统是 Docker 镜像的基础。 镜像可以通过分层来进行继承,基于基础镜像(没有父镜像),可以制作各种具体的应用镜像。
332 5
|
2月前
|
存储 缓存 NoSQL
Redis专题-实战篇二-商户查询缓存
本文介绍了缓存的基本概念、应用场景及实现方式,涵盖Redis缓存设计、缓存更新策略、缓存穿透问题及其解决方案。重点讲解了缓存空对象与布隆过滤器的使用,并通过代码示例演示了商铺查询的缓存优化实践。
189 1
Redis专题-实战篇二-商户查询缓存
|
1月前
|
缓存 运维 监控
Redis 7.0 高性能缓存架构设计与优化
🌟蒋星熠Jaxonic,技术宇宙中的星际旅人。深耕Redis 7.0高性能缓存架构,探索函数化编程、多层缓存、集群优化与分片消息系统,用代码在二进制星河中谱写极客诗篇。
|
6月前
|
缓存 NoSQL Java
Redis+Caffeine构建高性能二级缓存
大家好,我是摘星。今天为大家带来的是Redis+Caffeine构建高性能二级缓存,废话不多说直接开始~
950 0
|
2月前
|
缓存 NoSQL 关系型数据库
Redis缓存和分布式锁
Redis 是一种高性能的键值存储系统,广泛用于缓存、消息队列和内存数据库。其典型应用包括缓解关系型数据库压力,通过缓存热点数据提高查询效率,支持高并发访问。此外,Redis 还可用于实现分布式锁,解决分布式系统中的资源竞争问题。文章还探讨了缓存的更新策略、缓存穿透与雪崩的解决方案,以及 Redlock 算法等关键技术。
|
6月前
|
消息中间件 缓存 NoSQL
基于Spring Data Redis与RabbitMQ实现字符串缓存和计数功能(数据同步)
总的来说,借助Spring Data Redis和RabbitMQ,我们可以轻松实现字符串缓存和计数的功能。而关键的部分不过是一些"厨房的套路",一旦你掌握了这些套路,那么你就像厨师一样可以准备出一道道饕餮美食了。通过这种方式促进数据处理效率无疑将大大提高我们的生产力。
237 32

推荐镜像

更多
下一篇
oss云网关配置