如何将内网服务器数据采集到日志服务

简介: 1.背景公司内部服务器都没有公网访问权限,只有少数网关机可以访问公网,但需要将日志采集到阿里云日志服务进行实时分析,因此需要配置网关机转发来实现内网服务器的日志采集。 2.准备材料 一台可以访问外网的网关机 1.

1.背景
公司内部服务器都没有公网访问权限,只有少数网关机可以访问公网,但需要将日志采集到阿里云日志服务进行实时分析,因此需要配置网关机转发来实现内网服务器的日志采集。

2.准备材料
一台可以访问外网的网关机 1.1.1.1
一台不能访问外网的服务器 2.2.2.2

3.目的 收集服务器2.2.2.2的日志

4.实现过程
在网关机(1.1.1.1)安装nginx,这里不做赘述 参考 https://www.cnblogs.com/lovexinyi8/p/5845017.html
在内部服务器(2.2.2.2)安装Logtail,这里参考https://help.aliyun.com/document_detail/28982.html安装,注意需要配置aliuid,参考https://help.aliyun.com/document_detail/49007.html配置
配置nginx的配置文件,需要配置两个域名,一个是阿里的区域域名,如果不知道区域的
可以看服务器的/usr/local/ilogtail/ilogtail_config.json
image

另一个域名是http://{project_name}.ap-northeast-1.log.aliyuncs.com {project_name}. 是你自己的Project名

都需要配置80 和443端口 以logtail.ap-northeast-1.log.aliyuncs.com域名的配置为例

80端口的配置

upstream logtail{
  server logtail.ap-northeast-1.log.aliyuncs.com:80;
  check interval=1000 rise=2 fall=1 timeout=1000;
}




server {
  listen 80;
  server_name logtail.ap-northeast-1.log.aliyuncs.com;
  access_log /var/log/nginx/logtail.ap-northeast-1.log.aliyuncs.com_access.log main;
  error_log /var/log/nginx/logtail.ap-northeast-1.log.aliyuncs.com_error.log debug;
  charset utf-8;


  location / {

    proxy_set_header  Host $host;
    proxy_set_header X-Forwarded-For $remote_addr;
    proxy_pass http://logtail;
    break;
  }
}

443端口配置

upstream logtail_443{
  server logtail.ap-northeast-1.log.aliyuncs.com:443;
  check interval=1000 rise=2 fall=1 timeout=1000;
}




server {
  listen 443;
  server_name logtail.ap-northeast-1.log.aliyuncs.com;
  access_log /var/log/nginx/logtail.ap-northeast-1.log.aliyuncs.com_access.log main;
  error_log /var/log/nginx/logtail.ap-northeast-1.log.aliyuncs.com_error.log debug;
  charset utf-8;


  location / {

    proxy_set_header  Host $host;
    proxy_set_header X-Forwarded-For $remote_addr;
    proxy_pass https://logtail_443;
    break;
  }
}

配置内部服务器(2.2.2.2)的host解析,将对应的logtail.ap-northeast-1.log.aliyuncs.com和http://{project_name}.ap-northeast-1.log.aliyuncs.com 在/etc/hosts中绑定到1.1.1.1
上述步骤都配置完成后,机器组的心跳应该已经显示OK了但是日志发送不出去,/usr/local/ilogtail/ilogtail.LOG 中提示如下信息:
image
目前的办法是让阿里的同事开通匿名写,也可以通过提交工单https://selfservice.console.aliyun.com/ticket/category/sls/today让工程师帮忙开通,如果有更好的办法欢迎讨论。

这里要感谢阿里的同事元乙提供的技术支持

相关实践学习
通过日志服务实现云资源OSS的安全审计
本实验介绍如何通过日志服务实现云资源OSS的安全审计。
目录
相关文章
|
存储 关系型数据库 数据库
【赵渝强老师】PostgreSQL的服务器日志文件
本文介绍了PostgreSQL数据库的物理存储结构,重点讨论了服务器日志文件。通过`pg_ctl`命令启动PostgreSQL实例时,使用`-l`参数指定日志文件位置,记录数据库启动、运行及关闭过程中的关键信息。附有相关视频讲解和日志文件示例。
348 0
|
5月前
|
运维 监控 安全
EventLog Analyzer:高效的Web服务器日志监控与审计解决方案
ManageEngine EventLog Analyzer是一款企业级Web服务器日志监控与审计工具,支持Apache、IIS、Nginx等主流服务器,实现日志集中管理、实时威胁检测、合规报表生成及可视化分析,助力企业应对安全攻击与合规挑战,提升运维效率。
303 0
|
11月前
|
数据采集 运维 监控
数据采集监控与告警:错误重试、日志分析与自动化运维
本文探讨了数据采集技术从“简单采集”到自动化运维的演进。传统方式因反爬策略和网络波动常导致数据丢失,而引入错误重试、日志分析与自动化告警机制可显著提升系统稳定性与时效性。正方强调健全监控体系的重要性,反方则担忧复杂化带来的成本与安全风险。未来,结合AI与大数据技术,数据采集将向智能化、全自动方向发展,实现动态调整与智能识别反爬策略,降低人工干预需求。附带的Python示例展示了如何通过代理IP、重试策略及日志记录实现高效的数据采集程序。
517 7
数据采集监控与告警:错误重试、日志分析与自动化运维
|
10月前
|
存储 监控 API
【Azure App Service】分享使用Python Code获取App Service的服务器日志记录管理配置信息
本文介绍了如何通过Python代码获取App Service中“Web服务器日志记录”的配置状态。借助`azure-mgmt-web` SDK,可通过初始化`WebSiteManagementClient`对象、调用`get_configuration`方法来查看`http_logging_enabled`的值,从而判断日志记录是否启用及存储方式(关闭、存储或文件系统)。示例代码详细展示了实现步骤,并附有执行结果与官方文档参考链接,帮助开发者快速定位和解决问题。
297 22
|
存储 数据采集 分布式计算
Hadoop-17 Flume 介绍与环境配置 实机云服务器测试 分布式日志信息收集 海量数据 实时采集引擎 Source Channel Sink 串行复制负载均衡
Hadoop-17 Flume 介绍与环境配置 实机云服务器测试 分布式日志信息收集 海量数据 实时采集引擎 Source Channel Sink 串行复制负载均衡
275 1
|
分布式计算 资源调度 数据可视化
Hadoop-06-Hadoop集群 历史服务器配置 超详细 执行任务记录 JobHistoryServer MapReduce执行记录 日志聚合结果可视化查看
Hadoop-06-Hadoop集群 历史服务器配置 超详细 执行任务记录 JobHistoryServer MapReduce执行记录 日志聚合结果可视化查看
288 1
|
关系型数据库 MySQL 应用服务中间件
服务器端日志在哪里
服务器端日志在哪里
|
Prometheus 监控 Cloud Native
Web服务器的日志分析与监控
【8月更文第28天】Web服务器日志提供了关于服务器活动的重要信息,包括访问记录、错误报告以及性能数据。有效地分析这些日志可以帮助我们了解用户行为、诊断问题、优化网站性能,并确保服务的高可用性。本文将介绍如何使用日志分析和实时监控工具来监测Web服务器的状态和性能指标,并提供具体的代码示例。
1148 0
|
4月前
|
弹性计算 运维 安全
阿里云轻量应用服务器与云服务器ECS啥区别?新手帮助教程
阿里云轻量应用服务器适合个人开发者搭建博客、测试环境等低流量场景,操作简单、成本低;ECS适用于企业级高负载业务,功能强大、灵活可扩展。二者在性能、网络、镜像及运维管理上差异显著,用户应根据实际需求选择。
355 10
|
4月前
|
运维 安全 Ubuntu
阿里云渠道商:服务器操作系统怎么选?
阿里云提供丰富操作系统镜像,涵盖Windows与主流Linux发行版。选型需综合技术兼容性、运维成本、安全稳定等因素。推荐Alibaba Cloud Linux、Ubuntu等用于Web与容器场景,Windows Server支撑.NET应用。建议优先选用LTS版本并进行测试验证,通过标准化镜像管理提升部署效率与一致性。

相关产品

  • 日志服务