Gearman 集中处理日志

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: F#job server 安装在gearman-job服务器上。 worker安装在worker服务器上。 全部以gearman用户运行。 job server 启动命令: /opt/app/gearman/sbin/gearmand -L 192.

F#

job server 安装在gearman-job服务器上。 

worker安装在worker服务器上。 

全部以gearman用户运行。 

job server 启动命令: 

/opt/app/gearman/sbin/gearmand -L 192.168.0.x -d 

worker 启动命令: 

( /opt/app/gearman/bin/gearman -w -h gearman-job -f businessLogger | /usr/local/sbin/cronolog /opt/log/business.%Y%m%d.log & ) 

client 启动命令,以client1为例: 

screen -dmS gearman 

script /dev/null 

screen -r gearman 

tail -F  ar/log/log1 | awk '{print "app1",$0}' | /opt/app/gearman/bin/gearman -n -h gearman-job -f businessLogger & 

ctl-a d

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
4月前
|
消息中间件 Java Kafka
【Kafka】Kafka-Server-start.sh 启动脚本分析(Ver 2.7.2)
【Kafka】Kafka-Server-start.sh 启动脚本分析(Ver 2.7.2)
82 0
|
4月前
|
消息中间件 Kafka Shell
Linux【脚本 02】shell脚本离线安装配置Zookeeper及Kafka并添加service服务和开机启动(脚本分析)
Linux【脚本 02】shell脚本离线安装配置Zookeeper及Kafka并添加service服务和开机启动(脚本分析)
75 0
|
存储 监控 关系型数据库
问题排查:线上MySQL启动报错:Job for mysqld.service failed because the control process exite
问题排查:线上MySQL启动报错:Job for mysqld.service failed because the control process exite
7319 0
问题排查:线上MySQL启动报错:Job for mysqld.service failed because the control process exite
|
监控 应用服务中间件 nginx
CentOS6.9安装Filebeat监控Nginx的访问日志发送到Kafka
一、下载地址: 官方:https://www.elastic.co/cn/downloads/beats/filebeat 百度云盘:https://pan.baidu.com/s/1dvhqb0   二、安装 tar zxvf filebeat-6.
2997 0
|
网络协议 PHP Python
|
网络协议 PHP Python