如何将内网服务器数据采集到日志服务

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 1.背景公司内部服务器都没有公网访问权限,只有少数网关机可以访问公网,但需要将日志采集到阿里云日志服务进行实时分析,因此需要配置网关机转发来实现内网服务器的日志采集。 2.准备材料 一台可以访问外网的网关机 1.

1.背景
公司内部服务器都没有公网访问权限,只有少数网关机可以访问公网,但需要将日志采集到阿里云日志服务进行实时分析,因此需要配置网关机转发来实现内网服务器的日志采集。

2.准备材料
一台可以访问外网的网关机 1.1.1.1
一台不能访问外网的服务器 2.2.2.2

3.目的 收集服务器2.2.2.2的日志

4.实现过程
在网关机(1.1.1.1)安装nginx,这里不做赘述 参考 https://www.cnblogs.com/lovexinyi8/p/5845017.html
在内部服务器(2.2.2.2)安装Logtail,这里参考https://help.aliyun.com/document_detail/28982.html安装,注意需要配置aliuid,参考https://help.aliyun.com/document_detail/49007.html配置
配置nginx的配置文件,需要配置两个域名,一个是阿里的区域域名,如果不知道区域的
可以看服务器的/usr/local/ilogtail/ilogtail_config.json
image

另一个域名是http://{project_name}.ap-northeast-1.log.aliyuncs.com {project_name}. 是你自己的Project名

都需要配置80 和443端口 以logtail.ap-northeast-1.log.aliyuncs.com域名的配置为例

80端口的配置

upstream logtail{
  server logtail.ap-northeast-1.log.aliyuncs.com:80;
  check interval=1000 rise=2 fall=1 timeout=1000;
}




server {
  listen 80;
  server_name logtail.ap-northeast-1.log.aliyuncs.com;
  access_log /var/log/nginx/logtail.ap-northeast-1.log.aliyuncs.com_access.log main;
  error_log /var/log/nginx/logtail.ap-northeast-1.log.aliyuncs.com_error.log debug;
  charset utf-8;


  location / {

    proxy_set_header  Host $host;
    proxy_set_header X-Forwarded-For $remote_addr;
    proxy_pass http://logtail;
    break;
  }
}

443端口配置

upstream logtail_443{
  server logtail.ap-northeast-1.log.aliyuncs.com:443;
  check interval=1000 rise=2 fall=1 timeout=1000;
}




server {
  listen 443;
  server_name logtail.ap-northeast-1.log.aliyuncs.com;
  access_log /var/log/nginx/logtail.ap-northeast-1.log.aliyuncs.com_access.log main;
  error_log /var/log/nginx/logtail.ap-northeast-1.log.aliyuncs.com_error.log debug;
  charset utf-8;


  location / {

    proxy_set_header  Host $host;
    proxy_set_header X-Forwarded-For $remote_addr;
    proxy_pass https://logtail_443;
    break;
  }
}

配置内部服务器(2.2.2.2)的host解析,将对应的logtail.ap-northeast-1.log.aliyuncs.com和http://{project_name}.ap-northeast-1.log.aliyuncs.com 在/etc/hosts中绑定到1.1.1.1
上述步骤都配置完成后,机器组的心跳应该已经显示OK了但是日志发送不出去,/usr/local/ilogtail/ilogtail.LOG 中提示如下信息:
image
目前的办法是让阿里的同事开通匿名写,也可以通过提交工单https://selfservice.console.aliyun.com/ticket/category/sls/today让工程师帮忙开通,如果有更好的办法欢迎讨论。

这里要感谢阿里的同事元乙提供的技术支持

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
1月前
|
存储 数据采集 分布式计算
Hadoop-17 Flume 介绍与环境配置 实机云服务器测试 分布式日志信息收集 海量数据 实时采集引擎 Source Channel Sink 串行复制负载均衡
Hadoop-17 Flume 介绍与环境配置 实机云服务器测试 分布式日志信息收集 海量数据 实时采集引擎 Source Channel Sink 串行复制负载均衡
44 1
|
1月前
|
分布式计算 资源调度 数据可视化
Hadoop-06-Hadoop集群 历史服务器配置 超详细 执行任务记录 JobHistoryServer MapReduce执行记录 日志聚合结果可视化查看
Hadoop-06-Hadoop集群 历史服务器配置 超详细 执行任务记录 JobHistoryServer MapReduce执行记录 日志聚合结果可视化查看
37 1
|
2月前
|
关系型数据库 MySQL 应用服务中间件
服务器端日志在哪里
服务器端日志在哪里
|
3月前
|
Ubuntu Linux 测试技术
在Linux中,已知 apache 服务的访问日志按天记录在服务器本地目录/app/logs 下,由于磁盘空间紧张现在要求只能保留最近7天的访问日志,请问如何解决?
在Linux中,已知 apache 服务的访问日志按天记录在服务器本地目录/app/logs 下,由于磁盘空间紧张现在要求只能保留最近7天的访问日志,请问如何解决?
|
3月前
|
Prometheus 监控 Cloud Native
Web服务器的日志分析与监控
【8月更文第28天】Web服务器日志提供了关于服务器活动的重要信息,包括访问记录、错误报告以及性能数据。有效地分析这些日志可以帮助我们了解用户行为、诊断问题、优化网站性能,并确保服务的高可用性。本文将介绍如何使用日志分析和实时监控工具来监测Web服务器的状态和性能指标,并提供具体的代码示例。
412 0
|
4月前
|
SQL 弹性计算 关系型数据库
PolarDB产品使用问题之如何和ECS实例实现内网互通
PolarDB产品使用合集涵盖了从创建与管理、数据管理、性能优化与诊断、安全与合规到生态与集成、运维与支持等全方位的功能和服务,旨在帮助企业轻松构建高可用、高性能且易于管理的数据库环境,满足不同业务场景的需求。用户可以通过阿里云控制台、API、SDK等方式便捷地使用这些功能,实现数据库的高效运维与持续优化。
|
4月前
|
存储 XML Java
seata2.0服务器日志位置修改
这个过程要求您对Seata配置和Linux文件系统有基本的认识。调整配置文件时要非常细心,因为配置错误会直接影响Seata服务的运行。通过以上步骤,您可以有效地修改Seata服务器的日志位置,并确保日志文件按照您的需要被妥善地管理和存储。
147 3
|
4月前
|
存储 弹性计算 运维
可观测性体系问题之ECS管控对其所有日志的管理如何解决
可观测性体系问题之ECS管控对其所有日志的管理如何解决
43 0
|
4月前
|
存储 弹性计算 运维
可观测性体系问题之ECS管控对日志数据的处理如何解决
可观测性体系问题之ECS管控对日志数据的处理如何解决
63 0
|
13天前
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
121 30
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板

相关产品

  • 日志服务