filebeat将收集来的日志存储到自定义名称的es索引(四)

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: filebeat自定义索引名称环境准备

filebeat自定义索引名称

环境准备image.png

1.配置filebeat使用自定义的索引名称

我们配置192.168.81.220的filebeat使用自定义的索引名称

1.1.配置nginx开启json格式的日志

[root@node-2 ~]# vim /etc/nginx/nginx.conf
http {
            log_format  main '{"客户端内网地址":"$remote_addr",'
                       '"时间":"$time_iso8601",'
                       '"URL":"$request",'
                       '"状态码":$status,'
                       '"传输流量":$body_bytes_sent,'
                       '"跳转来源":"$http_referer",'
                       '"浏览器":"$http_user_agent",'
                       '"客户端外网地址":"$http_x_forwarded_for",'
                       '"请求响应时间":$request_time,'
                       '"后端地址":"$upstream_addr"}';
}    
[root@node-2 ~]# systemctl reload nginx

1.2.配置filebeat使用自定义的索引名

自定义索引名主要修改output的配置,自定义索引名,必须新设置一个模板,否则会报错

配置解释:

output.elasticsearch:

hosts: [“192.168.81.210:9200”]

index: “nginx-jiangxl-access-%{+yyyy.MM}” //自定义索引名,这里配置的日期是按月进行创建索引了,也就是1个月创建一个索引,个人还是建议以天来创建索引,这样容易备份


setup.template.name: “nginx” //设置一个新的模板,模板的名称

setup.template.pattern: “nginx-*” //模板匹配那些索引,这里表示以nginx开头的所有的索引

setup.template.enabled: false //关掉默认的模板配置

setup.template.overwrite: true //开启新设置的模板

1.修改配置
[root@node-2 ~]# vim /etc/filebeat/filebeat.yml 
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/nginx/access.log
    - /var/log/nginx/error.log
  json.keys_under_root: true
  json.overwrite_keys: true
output.elasticsearch:
  hosts: ["192.168.81.210:9200"]
  index: "nginx-jiangxl-access-%{+yyyy.MM}"
setup.template.name: "nginx"
setup.template.pattern: "nginx-*"
setup.template.enabled: false
setup.template.overwrite: true
2.重启filebeat
[root@node-2 ~]# systemctl restart filebeat

1.3.查看es是否增加了新的索引

可以看到自定义的索引已经创建好了,但是由于我们启用了新的模板,则应用了es默认的配置,5个分片1个副本,旁边的索引使用的是默认的filebeat配置,3个分片1个副本

1.4.在kibana上关联es索引

点击Managerment—索引模式—创建索引

索引名使用通配符的形式,这样以后索引的nginx-jiangxl开头的索引库收集来的日志可以聚合展示了,否则每个月甚至每天都需要创建索引

可以看到在选择字段的时候也比原来的要少,因为是自定义的模板,因此字段只有我们定义的内容,默认的模板把所有支持的字段都会加上

创建成功

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
3月前
|
存储 运维 监控
SelectDB 实现日志高效存储与实时分析,完成任务可领取积分、餐具套装/水杯/帆布包!
SelectDB 实现日志高效存储与实时分析,完成任务可领取积分、餐具套装/水杯/帆布包!
|
2月前
|
存储 数据可视化 开发工具
【Application Insights】Application Insights存储的Function App的日志存在"Operation Link" 为空的情况
在将 Azure Functions 升级到 .NET 8 和 Isolated Worker 模式后,Application Insights 的请求日志中 `operation_Link` 字段为空,导致分布式追踪无法正常关联。解决方法包括:确保引用正确的 SDK 包(如 `Microsoft.Azure.Functions.Worker.ApplicationInsights`),正确配置 Application Insights 服务,移除默认日志过滤规则,并使用最新依赖包以支持分布式追踪。通过这些步骤,可恢复端到端事务视图的可视化效果。
64 11
|
3月前
|
消息中间件 运维 监控
智能运维,由你定义:SAE自定义日志与监控解决方案
通过引入 Sidecar 容器的技术,SAE 为用户提供了更强大的自定义日志与监控解决方案,帮助用户轻松实现日志采集、监控指标收集等功能。未来,SAE 将会支持 istio 多租场景,帮助用户更高效地部署和管理服务网格。
325 51
|
4月前
|
消息中间件 运维 监控
智能运维,由你定义:SAE自定义日志与监控解决方案
SAE(Serverless应用引擎)是阿里云推出的全托管PaaS平台,致力于简化微服务应用开发与管理。为满足用户对可观测性和运维能力的更高需求,SAE引入Sidecar容器技术,实现日志采集、监控指标收集等功能扩展,且无需修改主应用代码。通过共享资源模式和独立资源模式,SAE平衡了资源灵活性与隔离性。同时,提供全链路运维能力,确保应用稳定性。未来,SAE将持续优化,支持更多场景,助力用户高效用云。
|
5月前
|
运维 应用服务中间件 nginx
docker运维查看指定应用log文件位置和名称
通过本文的方法,您可以更高效地管理和查看Docker容器中的日志文件,确保应用运行状态可控和可监测。
489 28
|
7月前
|
JSON 安全 API
.net 自定义日志类
在.NET中,创建自定义日志类有助于更好地管理日志信息。示例展示了如何创建、配置和使用日志记录功能,包括写入日志文件、设置日志级别、格式化消息等。注意事项涵盖时间戳、日志级别、JSON序列化、线程安全、日志格式、文件处理及示例使用。请根据需求调整代码。
102 13
|
8月前
|
JSON Java 数据库
SpringBoot项目使用AOP及自定义注解保存操作日志
SpringBoot项目使用AOP及自定义注解保存操作日志
135 1
|
9月前
|
存储 消息中间件 大数据
大数据-69 Kafka 高级特性 物理存储 实机查看分析 日志存储一篇详解
大数据-69 Kafka 高级特性 物理存储 实机查看分析 日志存储一篇详解
174 4
|
9月前
|
存储 消息中间件 大数据
大数据-70 Kafka 高级特性 物理存储 日志存储 日志清理: 日志删除与日志压缩
大数据-70 Kafka 高级特性 物理存储 日志存储 日志清理: 日志删除与日志压缩
127 1
|
7月前
|
监控 安全 Apache
什么是Apache日志?为什么Apache日志分析很重要?
Apache是全球广泛使用的Web服务器软件,支持超过30%的活跃网站。它通过接收和处理HTTP请求,与后端服务器通信,返回响应并记录日志,确保网页请求的快速准确处理。Apache日志分为访问日志和错误日志,对提升用户体验、保障安全及优化性能至关重要。EventLog Analyzer等工具可有效管理和分析这些日志,增强Web服务的安全性和可靠性。
191 9

热门文章

最新文章