Hyperf结合Redis异步队列任务async-queue实现后台操作日志写入

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
日志服务 SLS,月写入数据量 50GB 1个月
简介: Hyperf结合Redis异步队列任务async-queue实现后台操作日志写入
本文环境 Hyperf2.1,PHP7.3,Mysql5.7\
不懂的可以评论或联系我邮箱:owen@owenzhang.com\
著作权归OwenZhang所有。商业转载请联系OwenZhang获得授权,非商业转载请注明出处。

业务场景介绍

前天接到一个需求,后台管理系统,记录后台账号的操作记录信息。

由于是集团后台,这样操作者就很多,但操作日志却是很关键的信息,必须得写入数据库,这样多用户写入,我们就得用到异步队列进行消费,防止写入失败,如果队列进行消费指定参数后还是失败,就得写入日志进行钉钉消息推送,具体可以看我另外一篇文章:

lite-monitor 一款基于 shell 命令的监控系统 - owenzhang24的个人空间 - OSCHINA - 中文开源技术交流社区

需求产品原型图:

image.png

Hyperf & async-queue介绍

Hyperf 介绍

Hyperf 是基于 Swoole 4.5+ 实现的高性能、高灵活性的 PHP 协程框架,内置协程服务器及大量常用的组件,性能较传统基于 PHP-FPM 的框架有质的提升,提供超高性能的同时,也保持着极其灵活的可扩展性,标准组件均基于 PSR 标准 实现,基于强大的依赖注入设计,保证了绝大部分组件或类都是 可替换 与 可复用 的。

async-queue 介绍

async-queue是Redis 异步队列,异步队列区别于 RabbitMQ Kafka 等消息队列,它只提供一种 异步处理 和 异步延时处理 的能力,并 不能 严格地保证消息的持久化和 不支持 ACK 应答机制。

官方文档:
Redis 异步队列 (hyperf.wiki)

async-queue 安装

使用composer将 async-queue 安装到你的项目中:

composer require hyperf/async-queue

插件环境要求:
image.png
参考Packagist:
hyperf/async-queue - Packagist

async-queue 配置

配置文件位于 config/autoload/async_queue.php,如文件不存在可自行创建。

我的项目配置如下:

<?php

declare(strict_types=1);
/**
 * This file is part of Hyperf.
 *
 * @link     https://www.hyperf.io
 * @document https://hyperf.wiki
 * @contact  group@hyperf.io
 * @license  https://github.com/hyperf/hyperf/blob/master/LICENSE
 */
return [
    'default' => [
        'driver' => Hyperf\AsyncQueue\Driver\RedisDriver::class,
        'channel' => 'plan_queue',//队列前缀
        'timeout' => 5,//pop 消息的超时时间
        'retry_seconds' => 5,//失败后重新尝试间隔
        'handle_timeout' => 5,//消息处理超时时间
        'processes' => 5, //增加异步队列进程数量,加快消费速度
    ],
];

其他配置可以参考官方文档

微信截图_20220120161605.png

代码实例

消费队列接口类

函数说明:

  • __construct() 任务执行失败后的重试次数,即最大执行次数为 $maxAttempts+1 次
  • handle() 执行任务日志写入数据库

代码实例:

<?php

declare(strict_types=1);

namespace App\Job;

use App\Model\HoutaiOperationLog;
use Hyperf\AsyncQueue\Job;
use Hyperf\Utils\ApplicationContext;

class OperationLogAddJob extends Job
{
    public $params;

    /**
     * 任务执行失败后的重试次数,即最大执行次数为 $maxAttempts+1 次
     *
     * @var int
     */
    protected $maxAttempts = 0;

    public function __construct($params)
    {
        $this->params = $params;
    }

    /**
     * 执行任务 日志写入数据库
     * @var int
     */
    public function handle()
    {
        $container = ApplicationContext::getContainer();
        $logger = $container->get(\Hyperf\Logger\LoggerFactory::class)->get('log', 'default');

        try {
            $insertData = [
                'operation_type' => $this->params['operation_type'],
                'operation_page' => $this->params['operation_page'],
                'content' => $this->params['content'],
                'status' => $this->params['status'],
                'ip' => $this->params['ip'],
                'created_id' => $this->params['created_id'],
                'app' => $this->params['app'],
                'created_at' => date('Y-m-d H:i:s'),
            ];

            return HoutaiOperationLog::query()->insert($insertData);
        } catch (\Exception $e) {
            $logger->error('后台操作日志添加失败:' . $e->getMessage());
        }

        return 'success';
    }
}

写入异步队列函数方法

操作日志添加队列函数方法

代码实例:

/**
 * Describe: 个人中心-操作日志添加队列
 * Route: get /admin/operation_log_list
 * @param int $operationType 操作类型,1登录,2登出,3编辑修改,4新增创建,5删除,6导出数据,7导入数据(导出和导入暂时不做)
 * @param string $operationPage 操作页面
 * @param string $content 操作内容
 * @param int $status 操作状态,1成功,2失败
 * Created by OwenZhang at 2022/01/17 10:14
 */
public function operationLogAdd(int $operationType, string $operationPage, string $content, int $status)
{
    try {
        $driverFactory = ApplicationContext::getContainer()->get(DriverFactory::class);
        $driver = $driverFactory->get('default');

        $params['operation_type'] = $operationType;
        $params['operation_page'] = $operationPage;
        $params['content'] = $content;
        $params['status'] = $status;
        $params['ip'] = Context::get('ip') ?? '';
        $params['created_id'] = Context::get('system_user_id') ?? 0;
        $params['app'] = Context::get('app') ?? 0;

        return $driver->push(new OperationLogAddJob($params));
    } catch (\Exception $e) {
        throw new BusinessException(9999, '操作日志添加失败:' . $e->getMessage());
    }
}

调用写入异步队列函数方法

具体业务类下写入

代码实例:

$this->operationLogService->operationLogAdd(operationLogService::TYPE_EDIT, '运营管理&配置-意见反馈', "【意见反馈】【{$statusName}】【ID{$ids}】", operationLogService::STATUS_SUCCESS);

Buy me a cup of coffee :)

觉得对你有帮助,就给我打赏吧,谢谢!

Buy me a cup of coffee :)

https://www.owenzhang.com/wechat_reward.png

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
14天前
|
NoSQL Java API
美团面试:Redis锁如何续期?Redis锁超时,任务没完怎么办?
在40岁老架构师尼恩的读者交流群中,近期有小伙伴在面试一线互联网企业时遇到了关于Redis分布式锁过期及自动续期的问题。尼恩对此进行了系统化的梳理,介绍了两种核心解决方案:一是通过增加版本号实现乐观锁,二是利用watch dog自动续期机制。后者通过后台线程定期检查锁的状态并在必要时延长锁的过期时间,确保锁不会因超时而意外释放。尼恩还分享了详细的代码实现和原理分析,帮助读者深入理解并掌握这些技术点,以便在面试中自信应对相关问题。更多技术细节和面试准备资料可在尼恩的技术文章和《尼恩Java面试宝典》中获取。
美团面试:Redis锁如何续期?Redis锁超时,任务没完怎么办?
|
22天前
|
存储 Prometheus NoSQL
大数据-44 Redis 慢查询日志 监视器 慢查询测试学习
大数据-44 Redis 慢查询日志 监视器 慢查询测试学习
21 3
|
2月前
|
NoSQL Linux 测试技术
redis的安装步骤及前台,后台redis服务启动
这篇文章介绍了Redis的安装步骤,包括在Linux系统中下载、传输、解压、编译、安装Redis,以及Redis服务的前台和后台启动方法。
redis的安装步骤及前台,后台redis服务启动
|
3月前
|
缓存 NoSQL Linux
【Azure Redis 缓存】Windows和Linux系统本地安装Redis, 加载dump.rdb中数据以及通过AOF日志文件追加数据
【Azure Redis 缓存】Windows和Linux系统本地安装Redis, 加载dump.rdb中数据以及通过AOF日志文件追加数据
115 1
【Azure Redis 缓存】Windows和Linux系统本地安装Redis, 加载dump.rdb中数据以及通过AOF日志文件追加数据
|
3月前
|
XML 监控 Java
异步日志:性能优化的金钥匙
本文主要介绍了Log4j2框架的核心原理、实践应用以及一些实用的小Tips,力图揭示Log4j2这一强大日志记录工具在现代分布式服务架构运维中的关键作用。
|
3月前
|
Java 编译器 数据库
异步日志方案——spdlog
异步日志方案——spdlog
|
3月前
|
SQL JavaScript 前端开发
【Azure 应用服务】Azure JS Function 异步方法中执行SQL查询后,Callback函数中日志无法输出问题
【Azure 应用服务】Azure JS Function 异步方法中执行SQL查询后,Callback函数中日志无法输出问题
|
3月前
|
缓存 NoSQL Redis
【Azure Redis 缓存】Azure Reids是否可以开启慢日志(slowlog)和执行config指令
【Azure Redis 缓存】Azure Reids是否可以开启慢日志(slowlog)和执行config指令
|
4月前
|
存储 缓存 NoSQL
Redis性能优化问题之优化 Redis fork 耗时严重的问题,如何解决
Redis性能优化问题之优化 Redis fork 耗时严重的问题,如何解决
|
4月前
|
Java 测试技术
深入理解Logback异步日志配置及性能优化
深入理解Logback异步日志配置及性能优化
312 2