采集 Nginx 日志的几种方式

在现代业务架构中，日志是一切可观测性的基础。无论你是在搭建监控体系、建设日志平台，还是排查线上故障，Nginx 日志都是非常关键的数据源。本文将系统介绍采集 Nginx 日志的几种常见方案，包括本地采集、Agent 采集、Log shipping、Sidecar、以及云原生环境下的标准采集方法，帮助你建立一套稳定、可扩展的 Nginx 日志体系。

一、Nginx 日志基础：我们需要采集哪些内容？

Nginx 默认会生成两类核心日志：

1. Access Log（访问日志）

记录每一次 HTTP 请求，如客户端 IP、请求路径、状态码、响应时间等。这通常用于：

• 请求量统计
• 性能监控
• 访问行为分析
• 安全审计（如攻击来源、扫描行为）

2. Error Log（错误日志）

记录 Nginx 内部错误，如配置问题、上游无响应、502、504 等异常。
用于：

• 故障排查
• Nginx 配置调试

二、方式一：直接读取本地日志文件（最简单的方式）

这是最原始、最易实现的方式，适用于单机或小规模环境。

Nginx 默认日志路径

/var/log/nginx/access.log
/var/log/nginx/error.log

常见采集手段

• tail -f /var/log/nginx/access.log
• Shell 脚本处理并转发
• Python/Go 等语言编写小工具实时追踪

优点

• 简单易用
• 适合快速调试、开发、运维手工排查

缺点

• 不具备集中式日志管理能力
• 不适合大规模集群

三、方式二：使用 Agent 采集（最主流方式）

通过部署日志采集 Agent，可以将 Nginx 日志汇集到日志系统中。

常见日志 Agent：

1. Filebeat（Elastic Stack）

通过 Filebeat 的 Nginx 模块可直接解析常见 Nginx 格式。

配置示例：

filebeat.inputs:
  - type: log
    paths:
      - /var/log/nginx/access.log
      - /var/log/nginx/error.log
    fields:
      log_topic: nginx

2. Fluentd / Fluent Bit

支持海量插件，适合企业与云原生场景。

3. Vector（性能极优）

Rust 编写、资源占用低。

适用场景

• 企业日志平台（ELK、EFK、OpenSearch 等）
• 分布式微服务集群
• 需要结构化处理的场景（如 JSON 格式）

优点

• 稳定、成熟
• 支持结构化日志
• 能对日志进行过滤、聚合、转发

缺点

• 需部署 Agent
• 多节点下运维复杂度略高

四、方式三：使用 Nginx 的 Syslog 功能转发日志

Nginx 支持将日志直接通过 Syslog 协议传输到远程服务器。

配置示例：

access_log syslog:server=192.168.1.10:514,facility=local7 main;

优点

• 实时推送，无需在本地堆积文件
• 不依赖本地采集 Agent

缺点

• Syslog 的可靠性不如专用日志系统
• 格式不如 JSON 易于解析

适用于：

• 传统企业运维架构
• 使用中央 Syslog Server 的场景

五、方式四：Sidecar 模式采集（Kubernetes 主流方式）

在容器化环境中，Nginx 日志通常输出到 stdout/stderr：

access_log /dev/stdout;
error_log /dev/stderr;

随后由容器运行时（Docker/CRI）写入容器日志文件。

Kubernetes 中常见采集方式包括：

1. DaemonSet + Fluent Bit

采集 /var/log/containers/*.log 文件，并转发到日志平台。

2. Sidecar 容器采集（不推荐但存在）

将 Nginx 日志 volume 挂载给一个 Sidecar，例如：

• Fluentd
• Filebeat
• Vector

优点

• 云原生环境最标准方式
• 支持大规模容器集群

缺点

• 需要理解容器日志体系
• 对新手来说配置复杂

六、方式五：使用 Nginx 自定义日志转 JSON，再集中采集

为了提升可读性和后续查询体验，可以将日志改为 JSON 格式：

示例配置

log_format json  '{"time": "$time_iso8601",'
                 '"client": "$remote_addr",'
                 '"method": "$request_method",'
                 '"uri": "$request_uri",'
                 '"status": "$status",'
                 '"body_bytes": "$body_bytes_sent",'
                 '"rt": "$request_time"}';

access_log /var/log/nginx/access.json json;

结合 Filebeat、Fluent Bit 采集 JSON 将大幅提升分析效率。

优点

• 更适合 ELK 等全文检索系统
• 可灵活添加字段
• 便于大数据分析

缺点

• 日志体积更大

七、方式六：借助反向代理/日志服务端链路自动采集

如果前端 Nginx 是统一入口（如网关层），可以在上游链路实现日志自动采集，例如：

• API 网关（Kong、APISIX）输出 JSON 日志
• Web 应用防火墙（WAF）自动记录访问日志
• 云厂商负载均衡（如 ALB、CLB）自带日志推送到对象存储

这种方式不主动采集 Nginx 本地日志，而是利用架构层额外组件完成日志记录。

适用场景：

• 云原生企业
• 多层负载均衡架构
• 无法访问 Nginx 服务器

八、总结：如何选择最适合你的方式？

总体建议：

如果你没有特殊要求：

最推荐的组合是：

Nginx 输出 JSON → Filebeat/Fluent Bit → ELK/OpenSearch

即可满足性能、灵活性、成本、可扩展性等要求。