《Splunk智能运维实战》——1.6 使用通用转发器收集数据

简介:

本节书摘来自华章计算机《Splunk智能运维实战》一书中的第1章,第1.6节,作者 [美]乔史·戴昆(Josh Diakun),保罗R.约翰逊(Paul R. Johnson),德莱克·默克(Derek Mock),译 宫鑫,康宁,刘法宗 ,更多章节内容可以访问云栖社区“华章计算机”公众号查看。

1.6 使用通用转发器收集数据

如今的IT环境既包括办公室壁橱内的数台服务器,也包括多个异地分布式数据中心的数百台终端服务器。

如果需要收集的数据不在安装有Splunk的服务器上,可在远程终端服务器上安装Splunk通用转发器(Universal Forwarder,UF),并用它将数据转发到Splunk以进行索引。

通用转发器和Splunk服务器类似,具有很多相同的特性,但不包括Splunk Web,并且也没捆绑Python可执行文件和库。此外,通用转发器不能预处理数据,如执行换行和时间戳提取。

本节将学习配置Splunk通用转发器来将数据转发到Splunk索引器及如何创建索引器来接收数据。

做好准备

要进行本节的操作,需要一个安装有Splunk Universal Forwarder但尚未进行配置的服务器,以及一个运行有Splunk的服务器。

要获取通用转发器软件,请前往www.splunk.com/download并注册账户。可将软件直接下载到服务器,也可将软件下载到笔记本电脑或工作站,并通过文件传送协议,如SFTP,将其上传至服务器。

如何操作

按照下列步骤配置Splunk转发器来转发数据,并配置 Splunk 索引器接收数据:

1 . 在安装有通用转发器的服务器上,打开命令提示符窗口(Windows用户)或终端窗口(UNIX用户)。

2 . 切换到$SPLUNK_HOME/bin目录,$SPLUNK_HOME是Splunk转发器的安装目录。

UNIX系统中,默认安装目录为/opt/splunkforwarder/bin。Windows系统中,默认安装目录为C:Program FilesSplunkUniversalForwarderbin。

如使用Windows系统,应省略下面Splunk命令前的“./”。

3 . 打开Splunk转发器,输入下列命令:
screenshot

4 . 接受许可证协议。

5 . 使用下列命令使通用转发器自动运行;
screenshot

6 . 设置索引器,通用转发器将发送数据到此索引器。将主机值替换为索引器的值,并为通用转发器替换用户名和密码。
screenshot

登录转发器的用户名和密码(默认为admin:changeme)是<username>:<password>

可以用相同的方法添加其他索引器,只需重复前一步的命令,使用不同的索引器主机或IP。如果照此方法指定了多个接收索引器,Splunk将自动为转发的数据平衡负载。端口9997是默认的Splunk TCP端口,不要改变它,除非它因为某种原因不能使用。

在Splunk索引器所在的服务器上:

  1. 登录Splunk索引器所在的服务器。从右上角的主启动器单击“设定”菜单,并选择“转发和接收”链接。
    screenshot
  2. 单击“配置接收”链接。
    screenshot
  3. 单击“新建”。
  4. 在“监听此端口”字段中输入9997。
    screenshot
  5. 单击“保存”并重启Splunk。至此已经安装并配置了通用转发器,它会发送数据到Splunk服务器,Splunk服务器也会按照设置接收默认Splunk TCP端口9997的数据。

工作原理

设置转发器将数据传送到某服务器实际上是在后台添加新的配置节到inputs.conf文件中。在Splunk服务器上,inputs.conf文件会添加一个[splunktcp]节来激活接收。Splunk转发器上的outputs. conf文件位于$SPLUNK_HOME/etc/system/local,当设置数据接收时,Splunk服务器上的inputs.conf文件位于所用应用程序(本例中是启动器应用程序)的本地目录中。

使用转发器收集和转发数据具有诸多优势。转发器默认会与索引器在TCP端口9997上通信,这会开启一套非常简单的防火墙规则。转发器也可以通过配置来对多个索引器上的数据进行负载平衡,增加搜索速度和可用性。此外,也可配置转发器,使其在与索引器通信丢失时对接收的数据进行队列排序。如果索引器接收的数据不是从性能计数器或系统日志流等日志文件中读取的,这一点至关重要,因为这样的数据无法重新读取。

更多内容

除了本节所介绍的通过Splunk的命令行界面配置通用转发器之外,还有其他方法来快速更新设置,并可自定义Splunk提供的许多配置选项。

通过outputs.conf添加接收索引器

可在通用转发器的outputs.conf配置文件中添加接收索引器。编辑$SPLUNK_HOME/etc/system/local/outputs.conf,添加输入,然后重启通用转发器。下面提供了示例配置,其中指定了两个接收索引器。[tcpout-server]一节可针对单个接收索引器添加输出配置。
screenshot

如果通用转发器上的inputs.conf没有进行任何配置,而outputs.conf至少配置了一个合法的接收索引器,Splunk转发器将只发送内部日志数据到索引器。因此,转发器通过正确配置可以被Splunk索引器检测到,但不一定会发送任何真实数据。

相关文章
|
1月前
|
机器学习/深度学习 运维 监控
智能监控系统在运维中的应用与优势
传统的运维管理方式在面对日益复杂的IT系统时显得力不从心,智能监控系统的出现为运维工作带来了新的机遇。本文将探讨智能监控系统在运维中的应用与优势,介绍其工作原理以及如何有效地利用智能监控系统提升运维效率和质量。
62 2
|
2月前
|
运维 安全 数据安全/隐私保护
课1-数据可信流通,从运维信任到技术信任
构建数据可信流通体系,关键在于建立技术信任。该体系基于信任四要素:身份确认、利益依赖、能力预期及行为后果。数据内循环时,持有方负责数据安全;外循环则面临责任主体不清等问题。为实现可信流通,需由运维信任转向技术信任,依托密码学和可信计算技术,并遵循数据二十条政策。技术手段包括可信应用身份、使用权跨域管控、安全分级标准和全链路审计,确保内外循环的数据管控。基础设施——密态天空计算,支持以隐私计算为核心的密态数联网,实现责任界定的全链路数据安全。
|
2月前
|
存储 运维 安全
2024.3.18隐语训练营第1讲笔记:数据可信流通,从运维信任到技术信任
数据二十条提出了要建立数据可信流通体系,使得数据可以安全的流转起来。但由于在数据流通中存在的各种风险,使得信任四要素全部遭到破坏,导致信任降级甚至崩塌。为了应对这些风险,要实现从运维信任到技术信任的转变,针对信任的各个要素,提出了解决方案。最后简要介绍了安全可信基础设施的融合布局。
47 3
|
2月前
|
存储 运维 安全
2024-3-18隐语学习笔记:数据可信流通,从运维信任到技术信任
数据要素可信流通,重构技术信任体系。信任四要素:身份可确认,利益可依赖,能力有预期,行为有后果。外循环中四要素遭到破坏,导致信任降级甚至崩塌:责任主体不清,能力参差不齐,利益诉求不一致,责任链路难追溯。数据可信流通 需要从运维信任走向技术信任。
|
2月前
|
运维 安全 数据安全/隐私保护
|
2月前
|
机器学习/深度学习 人工智能 运维
《未来智能运维:AI技术的应用与展望》
在当今数字化时代,智能运维正日益成为企业提升效率、降低成本的关键。本文将探讨人工智能技术在运维领域的应用现状与未来发展趋势,展望未来智能运维的发展前景。
184 1
|
9天前
|
机器学习/深度学习 人工智能 运维
智能化运维:AIOps在未来网络管理中的应用与挑战
【5月更文挑战第4天】随着人工智能和大数据技术的飞速发展,智能化运维(AIOps)正逐渐成为IT运维领域的革新力量。本文探讨了AIOps在现代网络管理中的关键作用,分析了其在故障预测、自动化处理、以及提升决策效率方面的潜力。同时,文章还针对AIOps实施过程中面临的技术挑战、数据隐私及安全性问题进行了深入讨论,并提出了相应的解决策略。通过实际案例分析,本文旨在为读者提供一个关于AIOps在网络管理领域应用的全面视角。
|
10天前
|
运维 算法 物联网
五大智能运维场景
【5月更文挑战第3天】智能运维场景分5类:异常检测、根因诊断、故障自愈、事件预警、效能优化。
|
14天前
|
运维 Cloud Native 安全
【专栏】随着信息技术发展,运维正向自动化、智能化转型,云原生运维成为主流,大数据驱动运维决策,而安全运维日益重要
【4月更文挑战第29天】随着信息技术发展,运维正向自动化、智能化转型,云原生运维成为主流,大数据驱动运维决策,而安全运维日益重要。面对技术更新快、人才短缺和复杂性增加的挑战,企业需建立培训体系,加强人才培养,优化运维管理,以适应未来运维需求。随着这些趋势,运维领域将迎来更广阔的发展前景。
|
1月前
|
机器学习/深度学习 运维 监控
智能化运维:利用机器学习优化IT基础设施管理
【4月更文挑战第6天】 在信息技术日益发展的今天,企业对IT基础设施的依赖性愈发增强。有效的运维管理成为确保系统稳定性与业务连续性的关键。随着人工智能技术的不断进步,特别是机器学习的应用,运维领域正在经历一场革命。本文将探讨机器学习如何与传统的IT运维流程相结合,以及它如何提高故障预测的准确性、优化资源分配、自动化常规任务和增强安全性。通过分析具体案例,我们将了解智能化运维在提升效率、降低成本以及增强用户体验方面的潜力。