ELK之ES-Logstash-Kibana互联

简介:
好久没有写,这久都是在做ELK的数据化模板,觉得还是有些东西需要写下来的,前面我已经写过了EKL的安装,今天就来说一下ELK三个软件之间的连接把。
# 关系介绍:

ES是一个文档数据库,Logstash是一个数据收集工具,Kibana是一个数据处理工具,这么去理解这三个组件是无可厚非的。我们通过Logstash把数据收集起来,无论是通过读取日志,还是读取数据库,亦或是去监听某一个日志输出端口,总之Logstash就是一个数据收集工具,收集到数据之后再把数据发送给ES进行固化。好了,现在我们在ES中已经有了数据了,那么,通过什么来分析呢?没错,就是通过Kibana,它需要去ES数据库拿去数据,然后对数据进行分析。
现在我们应该可以理ELK三个组件的逻辑关系了。
image
现在把三者的关系理解清楚以后,就可以进行配置了。

# EKL相互配置

根据关系图我们可以知道,第一步需要做的是连接数据源和Logstash。
第一步:连接数据源和Logstsh

假设我们使用时是日志文件数据源,我们就需要使用Logstash的file{}插件

事例代码如下:

file{
        path=>['/data/access.log']
        type => "system"
        start_position => "beginning"
        sincedb_path => '/dev/null'


   }

path属性是指定元数据位置
type属性是指点该批元数据在ES中的类型
start_position 属性表示从头开始读取数据
sincedb_path 属性标识为/dev/null'时标识无论如何从头开始读取文件
更多file插件的字段属性,可以参考ELK文档。

第二步:让Ligstash把数据发送给ES
 elasticsearch{
             hosts => ["10.66.140.37:9200"]                      
               action=>"index"
               index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}"
                manage_template => false
                idle_flush_time => 10
                 sniffing => true
              document_id=>"%{[DocID]}"
            
         } 

hosts属性是表示ES在哪
index 属性表示事件要被写进的索引
idle_flush_time 属性表示每10秒发送一次数据到ES
active属性表示ES要执行的动作

第三步:连接ES和Kibana

前面我们已经把需要的数据发送到ES进行了存储了,现在要做的就是通过Kibana来分析我们的数据。
编辑Kibana的.ylm
image
设置ES的地址。
至此,ELK三大组件的连接已经完成。
你可以开心的去编辑你的数据格式和图标了...

目录
相关文章
|
程序员 C语言
C语言中的转义字符表
C语言中的转义字符表
486 0
|
开发工具 数据安全/隐私保护 git
如何从Gitee中拉取项目到HBuilder中?
如何从Gitee中拉取项目到HBuilder中?
|
C语言 机器学习/深度学习 C++
C语言的几种取整方法
C语言的几种取整方法 来源:http://blog.sina.com.cn/s/blog_4c0cb1c001013ha9.html 1、直接赋值给整数变量。如: int i = 2.5; 或 i = (int) 2.5; 这种方法采用的是舍去小数部分 2、C/C++中的整数除法运算符“/”本身就有取整功能(int / int),但是整数除法对负数的取整结果和使用的C编译器有关。
5203 0
|
11月前
|
人工智能 机器人
多模态大模型活动 | 使用 PAI×LLaMA Factory 搭建文旅问答机器人
LLaMA Factory 是一款开源低代码大模型微调框架,集成了业界最广泛使用的微调技术,支持通过 Web UI 界面零代码微调大模型,目前已经成为开源社区内最受欢迎的微调框架,GitHub 星标超过3万。本次活动通过 PAI×LLaMA Factory 微调 Qwen2-VL 模型,快速搭建文旅领域知识问答机器人,期待看到您与 AI 导游的创意对话!
|
人工智能 自然语言处理 算法
GPT-4 Turbo 和 GPT-4 的区别
GPT-4 vs GPT-4 Turbo: 探索OpenAI的顶级模型,GPT-4以其出色的文本生成和理解闻名,适合高端内容需求,但成本高;GPT-4 Turbo,优化版,提供相似性能但更高效、经济,适用于大规模商业应用,尤其在速度和资源效率上展现优势。用户可根据质量、效率和成本需求选择合适模型。
380 4
|
10月前
|
存储 XML 人工智能
深度解读AI在数字档案馆中的创新应用:高效识别与智能档案管理
基于OCR技术的纸质档案电子化方案,通过先进的AI能力平台,实现手写、打印、复古文档等多格式高效识别与智能归档。该方案大幅提升了档案管理效率,确保数据安全与隐私,为档案馆提供全面、智能化的电子化管理解决方案。
806 48
|
SQL 存储 数据安全/隐私保护
MyBatis-Plus演绎:数据权限控制,优雅至极!
项目使用mybaits-plus,所以在mybaits-plus的基础上增加数据权限的过滤 mybaits-plus自带数据权限支持,但由于系统数据权限相对复杂,通过查看文档发现好像并不适用,且原项目版本低,所以最终还是通过自己的方式实现
1708 1
MyBatis-Plus演绎:数据权限控制,优雅至极!
|
9月前
|
监控 网络协议 数据挖掘
固定窗口和滑动窗口,你真的分得清吗?快来看看!
滑动窗口是一种用于实时数据统计和分析的技术,通过不断移动的时间窗口捕捉最新数据变化。它常用于限流、实时数据分析和TCP协议中的流量控制,能够提供持续更新的统计数据,有效控制请求流量,避免系统过载。与固定窗口相比,滑动窗口更加动态和灵活,适合实时监控和快速响应。
450 0
|
算法 搜索推荐 安全
来自一线技术人的经验分享|如何写出让人眼前一亮的述职报告
本文作者从亲身经验阐述了一线技术人为什么述职、怎么述职以及述职的重要性。每年述职都是一大关,作者把自己的一些经验教训通过文字分享给大家,希望能帮助到更多的人。
37686 14
来自一线技术人的经验分享|如何写出让人眼前一亮的述职报告
|
前端开发
[巨详细]使用HBuilder-X新建uniapp项目教程
【6月更文挑战第6天】安装HBuilder-X 详细步骤可看上文》》 启动uniapp项目 先打开HBuilder-X
690 5

热门文章

最新文章