​数据采集神器Telegraf对接开源日志服务器GrayLog

本文涉及的产品
对象存储 OSS,OSS 加速器 50 GB 1个月
简介: ​数据采集神器Telegraf对接开源日志服务器GrayLog

数据采集神器Telegraf对接开源日志服务器GrayLog


Telegraf 是一个用Go编写的代理程序,可收集系统和服务的统计数据,并写入到 InfluxDB 数据库。Telegraf 具有内存占用小的特点,通过插件系统开发人员可轻松添加支持其他服务的扩展


在数据采集和平台监控系统中,Telegraf 可以采集多种组件的运行信息,而不需要自己手写脚本定时采集,降低数据获取的难度;Telegraf 配置简单,只要有基本的 Linux 基础即可快速上手



640.jpg

telegraf下载地址


https://github.com/influxdata/telegraf/releases
https://portal.influxdata.com/downloads/


640.png


下面介绍如何安装telegraf,并发送采集数据到Graylog


1、CentOS7下安装telegraf


rpm -ivh telegraf-1.24.1-1.x86_64.rpm 
cp /etc/telegraf/telegraf.conf /etc/telegraf/telegraf.conf_defaultraf


640.png


2、生成指定输入和输出插件的配置文件并进行修改


可以根据你所需要的input和output生成配置文件


cd /home
telegraf --sample-config --input-filter cpu:mem:net_response --output-filter graylog > telegraf.conf


640.png

然后再去修改相应的参数


  • 1、[agent]配置修改 全局配置中interval = "10s"默认10秒修改成30秒interval = "30s" 根据个人需要去修改这个时间间隔
  • 2、input修改 input位于配置文件的最下方 cpu percpu我设置成false

net_response 添加interval 间隔为5s,只针对这个input

address= "192.168.31.1:443"

探测192.168.31.1的443端口


  • 3、output graylog 的IP跟端口指定 udp://192.168.31.127:12201


640.png

640.png


覆盖/etc/telegraf/telegraf.conf配置文件并重启telegraf服务


cp /home/telegraf.conf /etc/telegraf/telegraf.conf
systemctl restart telegraf.service


640.png


记得在GrayLog上开放GELF Input端口


firewall-cmd --permanent --zone=public --add-port=12201/udp
firewall-cmd --reload


3、GrayLog上配置Input,创建Stream


640.png

640.png


640.png

4、可以配置GrayLog查询模板


telegraf发给Graylog的日志中直接有对应的字段


640.png


640.png


640.png


5、接下来你就可以在GrayLog配置告警


例如net_response出现connection_failed 端口不通告警

例如连续5次CPU利用率大于90的告警

640.png

这里就不演示了


Telegraf的input类型跟output类型非常丰富,再结合Graylog,强强结合,接下来你可以自由发挥想象力


640.png


相关文章
|
存储 关系型数据库 数据库
【赵渝强老师】PostgreSQL的服务器日志文件
本文介绍了PostgreSQL数据库的物理存储结构,重点讨论了服务器日志文件。通过`pg_ctl`命令启动PostgreSQL实例时,使用`-l`参数指定日志文件位置,记录数据库启动、运行及关闭过程中的关键信息。附有相关视频讲解和日志文件示例。
411 0
|
7月前
|
运维 监控 安全
EventLog Analyzer:高效的Web服务器日志监控与审计解决方案
ManageEngine EventLog Analyzer是一款企业级Web服务器日志监控与审计工具,支持Apache、IIS、Nginx等主流服务器,实现日志集中管理、实时威胁检测、合规报表生成及可视化分析,助力企业应对安全攻击与合规挑战,提升运维效率。
380 1
|
数据采集 运维 监控
数据采集监控与告警:错误重试、日志分析与自动化运维
本文探讨了数据采集技术从“简单采集”到自动化运维的演进。传统方式因反爬策略和网络波动常导致数据丢失,而引入错误重试、日志分析与自动化告警机制可显著提升系统稳定性与时效性。正方强调健全监控体系的重要性,反方则担忧复杂化带来的成本与安全风险。未来,结合AI与大数据技术,数据采集将向智能化、全自动方向发展,实现动态调整与智能识别反爬策略,降低人工干预需求。附带的Python示例展示了如何通过代理IP、重试策略及日志记录实现高效的数据采集程序。
572 7
数据采集监控与告警:错误重试、日志分析与自动化运维
|
存储 监控 API
【Azure App Service】分享使用Python Code获取App Service的服务器日志记录管理配置信息
本文介绍了如何通过Python代码获取App Service中“Web服务器日志记录”的配置状态。借助`azure-mgmt-web` SDK,可通过初始化`WebSiteManagementClient`对象、调用`get_configuration`方法来查看`http_logging_enabled`的值,从而判断日志记录是否启用及存储方式(关闭、存储或文件系统)。示例代码详细展示了实现步骤,并附有执行结果与官方文档参考链接,帮助开发者快速定位和解决问题。
330 22
|
人工智能 监控 算法
3D-Speaker:阿里通义开源的多模态说话人识别项目,支持说话人识别、语种识别、多模态识别、说话人重叠检测和日志记录
3D-Speaker是阿里巴巴通义实验室推出的多模态说话人识别开源项目,结合声学、语义和视觉信息,提供高精度的说话人识别和语种识别功能。项目包含工业级模型、训练和推理代码,以及大规模多设备、多距离、多方言的数据集,适用于多种应用场景。
4169 18
3D-Speaker:阿里通义开源的多模态说话人识别项目,支持说话人识别、语种识别、多模态识别、说话人重叠检测和日志记录
|
存储 人工智能 JSON
RAG Logger:专为检索增强生成(RAG)应用设计的开源日志工具,支持查询跟踪、性能监控
RAG Logger 是一款专为检索增强生成(RAG)应用设计的开源日志工具,支持查询跟踪、检索结果记录、LLM 交互记录和性能监控等功能。
631 7
RAG Logger:专为检索增强生成(RAG)应用设计的开源日志工具,支持查询跟踪、性能监控
|
缓存 弹性计算 网络协议
阿里云服务器对接高防的时候可能会出现的问题
本文总结了高防服务使用中常见的六大类问题及其解决方法,包括网络延迟与跨运营商访问异常、安全组配置错误、后端服务器异常、高防服务状态异常、端口协议配置错误及其他常见问题。针对每类问题,文章分析了可能的原因,并提供了具体排查和解决方案,如选择合适防护节点、放行回源IP段、优化服务器性能、调整防护策略等,帮助用户快速定位并解决问题,提升服务稳定性。
|
人工智能 算法 数据挖掘
开源更新|通义3D-Speaker多说话人日志功能
开源更新|通义3D-Speaker多说话人日志功能
|
存储 数据采集 监控
开源日志分析Elasticsearch
【10月更文挑战第22天】
274 5
|
机器学习/深度学习 运维 监控
开源日志分析Kibana
【10月更文挑战第22天】
563 3

热门文章

最新文章

相关产品

  • 日志服务
  • 下一篇
    开通oss服务