日志服务(原SLS)新功能发布(5)--使用Logstash接入数据

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 日志服务结合Logstash 目前,阿里云用户可以通过API/SDK或Logtail将数据写入日志服务,参考。 今天要介绍一个新方法:使用著名开源软件Logstash采集机器日志数据,并结合日志服务插件完成数据上传日志服务功能。

日志服务结合Logstash

目前,阿里云用户可以通过API/SDK或Logtail将数据写入日志服务,今天要介绍流行开源软件Logstash如何集成日志服务。

我们基于日志Java SDK开发了logstash-output-logservice插件(项目地址),帮助Logstash用户解决Linux、Windows、Mac OS平台日志采集上传需求。

用户可以在阿里云ECS,或者是IDC机房机器,又或者是其它云厂商的虚拟机上安装Logstash及插件,进行简单的配置,轻松地将本机日志数据搬到云上来。

logstash_logservice_arch

IIS日志场景

以Windows平台上最常见的IIS(Internet Information Services)日志为例,默认存储于C:inetpublogsLogFilesW3SVC1目录下的文件里,详细记录了客户IP地址、用户名、服务器端口、方法、URI资源、URI查询、协议状态、用户代理等信息,对于服务稳定性、安全性、运营统计有重要参考价值。

用户在机器上安装Logstash和相关插件后,配置文件目录、日志服务Project/Logstore、阿里云账号秘钥对,Logstash将自动跟踪日志文件的变化并实时地采集、解析后发送到日志服务。

日志数据在源源不断地实时上传,阿里云日志服务也提供了丰富的数据消费方式供用户选择。

比如,您可以通过索引功能查看一定时间段内GET动作且状态码为304的所有请求:

logstash_iis

除此之外,您还可以:

  • 结合EMR对日志做实时清洗,然后做批量处理或流式计算。
  • 使用日志服务提供的OSS投递功能,以很低的成本实现IIS日志的自动归档。
  • 使用日志服务提供的ODPS投递功能,在ODPS上对IIS日志做运维报表或运营统计。

如何使用

日志服务支持Logstash写入数据,具体提供以下功能:

  • 实时采集机器上的各种类型日志文件、TCP、Syslog等数据源(具体请参考Logstash官方文档)
  • 接入阿里云账号安全体系,通过秘钥对支持数据签名发送和访问权限控制
  • 多条日志支持批量发送,减少写入日志服务TPS产生的费用
  • 日志数据压缩后写日志服务,减少网络出口带宽的占用

更多细节请参考接入文档

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
17天前
|
Java
使用Java代码打印log日志
使用Java代码打印log日志
73 1
|
18天前
|
Linux Shell
Linux手动清理Linux脚本日志定时清理日志和log文件执行表达式
Linux手动清理Linux脚本日志定时清理日志和log文件执行表达式
72 1
|
22天前
|
SQL 关系型数据库 MySQL
MySQL数据库,可以使用二进制日志(binary log)进行时间点恢复
对于MySQL数据库,可以使用二进制日志(binary log)进行时间点恢复。二进制日志是MySQL中记录所有数据库更改操作的日志文件。要进行时间点恢复,您需要执行以下步骤: 1. 确保MySQL配置文件中启用了二进制日志功能。在配置文件(通常是my.cnf或my.ini)中找到以下行,并确保没有被注释掉: Copy code log_bin = /path/to/binary/log/file 2. 在需要进行恢复的时间点之前创建一个数据库备份。这将作为恢复的基准。 3. 找到您要恢复到的时间点的二进制日志文件和位置。可以通过执行以下命令来查看当前的二进制日志文件和位
|
27天前
|
监控 Shell Linux
【Shell 命令集合 系统管理 】Linux 自动轮转(log rotation)日志文件 logrotate命令 使用指南
【Shell 命令集合 系统管理 】Linux 自动轮转(log rotation)日志文件 logrotate命令 使用指南
48 0
|
29天前
|
存储 数据库
ALTER MATERIALIZED VIEW LOG :语句来更改现有物化视图日志的存储特征或类型。
`ALTER MATERIALIZED VIEW LOG` 语句用于修改已有的物化视图日志的存储属性或类型。配合示例中的动画图像(由于格式限制无法显示),该语句帮助优化数据库的性能和管理。
44 0
|
23天前
|
XML 运维 监控
【深入探究 C++ 日志库清理策略】glog、log4cplus 和 spdlog 的日志文件管理策略
【深入探究 C++ 日志库清理策略】glog、log4cplus 和 spdlog 的日志文件管理策略
62 0
|
30天前
|
安全 编译器 API
C++系统日志库精选:深入剖析glog与log4cplus,轻松搭建高效日志系统
C++系统日志库精选:深入剖析glog与log4cplus,轻松搭建高效日志系统
90 0
|
1月前
|
Web App开发 监控 应用服务中间件
全新架构!日志服务 SLS 自研免登录方案发布
全新架构!日志服务 SLS 自研免登录方案发布
87432 7
|
1月前
|
存储
Hudi Log日志文件格式分析(一)
Hudi Log日志文件格式分析(一)
25 1
|
1月前
|
缓存 索引
Hudi Log日志文件写入分析(二)
Hudi Log日志文件写入分析(二)
20 1

相关产品

  • 日志服务