Kafka接入到Graylog5.1
(图片点击放大查看)
一、Kafka单节点部署
1、安装JDK+kafka
yum install -y java-1.8.0-openjdk.x86_64 java-1.8.0-openjdk-devel.x86_64 java-1.8.0-openjdk-headless.x86_64 java -version
(图片点击放大查看)
(图片点击放大查看)
tar -zvxf kafka_2.13-3.5.1.tgz -C /opt cd /opt mv kafka_2.13-3.5.1 kafka echo "export KAFKA_HOME=/opt/kafka" >> /etc/profile echo 'export PATH=$PATH:$KAFKA_HOME/bin' >> /etc/profile source /etc/profile
2、启动kafka
zookeeper-server-start.sh /opt/kafka/config/zookeeper.properties & kafka-server-start.sh -daemon /opt/kafka/config/server.properties
(图片点击放大查看)
如果有开启防火墙，需要放通2181 9092端口
firewall-cmd --permanent --zone=public --add-port=2181/tcp
firewall-cmd --permanent --zone=public --add-port=9092/tcp
firewall-cmd --reload
(图片点击放大查看)
3、创建测试的topic并测试生产消费topic
kafka-console-producer.sh --topic security-events --bootstrap-server 192.168.31.222:9092 kafka-console-consumer.sh --topic security-events --from-beginning --bootstrap-server 192.168.31.222:9092
(图片点击放大查看)
二、Kafka接入到Graylog
1、新建Raw/Plaintext Kafka类型的Input
填入Bootstrap Servers、Zookeeper的IP地址与端口、Topic的正则表达式
(图片点击放大查看)
(图片点击放大查看)
Consumer group id根据实际情况填写
(图片点击放大查看)
(图片点击放大查看)
2、创建Stream用于单独获取Kafka Input的日志数据
(图片点击放大查看)
(图片点击放大查看)
3、最后的效果：查看Kafka接入的日志
(图片点击放大查看)
(图片点击放大查看)
