使用wrapper把flume做成服务优化篇

简介: 使用wrapper把flume做成服务优化篇

之前对wrapper很不熟悉,只是使用了比较基础的功能,现在优化了一版,请看配置

encoding=UTF-8
#加载license文件,固定写法:#include
#include ../conf/wrapper-license.conf
set.JAVA_HOME=C:/Program Files/Java/jdk1.6.0_43
wrapper.java.command=%JAVA_HOME%/bin/CWAgen
#wrapper主类(固定写法,除非你自己实现接口)
wrapper.java.mainclass=org.tanukisoftware.wrapper.WrapperSimpleApp
#加载所有的jar包,不需要一个一个写出来了
wrapper.java.classpath.1=../lib/*.jar
#这个是设置wrapper.dll的目录
wrapper.java.library.path.1=../lib
#32位、64位自动选择
wrapper.java.additional.auto_bits=TRUE 
#初始化内存大小
wrapper.java.initmemory=128
wrapper.java.maxmemory=256
#加载主类及参数
wrapper.app.parameter.1=org.apache.flume.node.Application
wrapper.app.parameter.2=-f ../conf/dirsource.properties
wrapper.app.parameter.3=-n a1
#加载log4j的配置文件
wrapper.java.additional.1=-Dlog4j.configuration=file:../conf/log4j.properties
wrapper.console.format=M
#log的等级有NONE、INFO、WARN、FAIL
wrapper.console.loglevel=INFO
wrapper.logfile=../bin/wrapper.log
wrapper.logfile.format=LPTM
wrapper.logfile.loglevel=WARN
wrapper.logfile.maxsize=10m
wrapper.logfile.maxfiles=0
#关闭syslog
wrapper.syslog.loglevel=NONE
wrapper.java.command.loglevel=NONE
#检查是否有相同的pid,如果有则不再启动,感觉这个没有效果
wrapper.pidfile.strict=TRUE
#序列可以混乱,比如classpath不再需要按顺序写1、2、3了
wrapper.ignore_sequence_gaps=TRUE
#服务名称、描述
wrapper.ntservice.name=CorewareAgentService
wrapper.ntservice.displayname=CorewareAgentService
wrapper.ntservice.description=CorewareAgentService
#服务启动模式
wrapper.ntservice.starttype=AUTO_START
#这样配置才有用
wrapper.filter.trigger.1001=java.lang.OutOfMemoryError  
wrapper.filter.action.1001=RESTART  
wrapper.filter.message.1001=The JVM has run out of memory.


大家可以根据配置来理解一下。

相关文章
|
4月前
|
Java Unix 应用服务中间件
使用java service wrapper把windows flume做成服务
使用java service wrapper把windows flume做成服务
|
存储 缓存 Java
Flume中 File Channel 的优化
Flume中 File Channel 的优化
140 0
Flume中 File Channel 的优化
|
Web App开发 存储 分布式计算
|
4月前
|
存储 分布式计算 监控
【Flume】Flume 监听日志文件案例分析
【4月更文挑战第4天】【Flume】Flume 监听日志文件案例分析
|
4月前
|
存储 运维 监控
【Flume】flume 日志管理中的应用
【4月更文挑战第4天】【Flume】flume 日志管理中的应用
|
消息中间件 数据采集 SQL
1、电商数仓(用户行为采集平台)数据仓库概念、用户行为日志、业务数据、模拟数据、用户行为数据采集模块、日志采集Flume(一)
1、电商数仓(用户行为采集平台)数据仓库概念、用户行为日志、业务数据、模拟数据、用户行为数据采集模块、日志采集Flume(一)
|
1月前
|
存储 数据采集 数据处理
【Flume拓扑揭秘】掌握Flume的四大常用结构,构建强大的日志收集系统!
【8月更文挑战第24天】Apache Flume是一个强大的工具,专为大规模日志数据的收集、聚合及传输设计。其核心架构包括源(Source)、通道(Channel)与接收器(Sink)。Flume支持多样化的拓扑结构以适应不同需求,包括单层、扇入(Fan-in)、扇出(Fan-out)及复杂多层拓扑。单层拓扑简单直观,适用于单一数据流场景;扇入结构集中处理多源头数据;扇出结构则实现数据多目的地分发;复杂多层拓扑提供高度灵活性,适合多层次数据处理。通过灵活配置,Flume能够高效构建各种规模的数据收集系统。
30 0
|
1月前
|
存储 分布式计算 大数据
【Flume的大数据之旅】探索Flume如何成为大数据分析的得力助手,从日志收集到实时处理一网打尽!
【8月更文挑战第24天】Apache Flume是一款高效可靠的数据收集系统,专为Hadoop环境设计。它能在数据产生端与分析/存储端间搭建桥梁,适用于日志收集、数据集成、实时处理及数据备份等多种场景。通过监控不同来源的日志文件并将数据标准化后传输至Hadoop等平台,Flume支持了性能监控、数据分析等多种需求。此外,它还能与Apache Storm或Flink等实时处理框架集成,实现数据的即时分析。下面展示了一个简单的Flume配置示例,说明如何将日志数据导入HDFS进行存储。总之,Flume凭借其灵活性和强大的集成能力,在大数据处理流程中占据了重要地位。
34 3
|
4月前
|
SQL 数据采集 数据挖掘
nginx+flume网络流量日志实时数据分析实战
nginx+flume网络流量日志实时数据分析实战
164 0