开发者社区> 唐恺> 正文

日志服务(原SLS)新功能发布(5)--使用Logstash接入数据

简介: 日志服务结合Logstash 目前,阿里云用户可以通过API/SDK或Logtail将数据写入日志服务,参考。 今天要介绍一个新方法:使用著名开源软件Logstash采集机器日志数据,并结合日志服务插件完成数据上传日志服务功能。
+关注继续查看

日志服务结合Logstash

目前,阿里云用户可以通过API/SDK或Logtail将数据写入日志服务,今天要介绍流行开源软件Logstash如何集成日志服务。

我们基于日志Java SDK开发了logstash-output-logservice插件(项目地址),帮助Logstash用户解决Linux、Windows、Mac OS平台日志采集上传需求。

用户可以在阿里云ECS,或者是IDC机房机器,又或者是其它云厂商的虚拟机上安装Logstash及插件,进行简单的配置,轻松地将本机日志数据搬到云上来。

logstash_logservice_arch

IIS日志场景

以Windows平台上最常见的IIS(Internet Information Services)日志为例,默认存储于C:inetpublogsLogFilesW3SVC1目录下的文件里,详细记录了客户IP地址、用户名、服务器端口、方法、URI资源、URI查询、协议状态、用户代理等信息,对于服务稳定性、安全性、运营统计有重要参考价值。

用户在机器上安装Logstash和相关插件后,配置文件目录、日志服务Project/Logstore、阿里云账号秘钥对,Logstash将自动跟踪日志文件的变化并实时地采集、解析后发送到日志服务。

日志数据在源源不断地实时上传,阿里云日志服务也提供了丰富的数据消费方式供用户选择。

比如,您可以通过索引功能查看一定时间段内GET动作且状态码为304的所有请求:

logstash_iis

除此之外,您还可以:

  • 结合EMR对日志做实时清洗,然后做批量处理或流式计算。
  • 使用日志服务提供的OSS投递功能,以很低的成本实现IIS日志的自动归档。
  • 使用日志服务提供的ODPS投递功能,在ODPS上对IIS日志做运维报表或运营统计。

如何使用

日志服务支持Logstash写入数据,具体提供以下功能:

  • 实时采集机器上的各种类型日志文件、TCP、Syslog等数据源(具体请参考Logstash官方文档)
  • 接入阿里云账号安全体系,通过秘钥对支持数据签名发送和访问权限控制
  • 多条日志支持批量发送,减少写入日志服务TPS产生的费用
  • 日志数据压缩后写日志服务,减少网络出口带宽的占用

更多细节请参考接入文档

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
[WS]使用Axis发布简单的Web服务(补充)
这篇帖子是对《使用Axis发布简单的Web服务》的补充。 可以看出,在Axis里书写deploy.wsdd并利用org.apache.axis.client.AdminClient发布,其主要工作就是把<service>标签中的内容添加在server-config.wsdd里,所以一般直接编辑server-config.wsdd文件会更方便一些。
869 0
使用IIS发布WCF服务
WCF服务库在WCF4.0之前是不支持无svc部署的,所以单独的WCF类库无法在IIS里托管。 你需要创建一个WCF服务程序,里面引用你的WCF服务库,这里会有一个svc文件指定类库。 另外IIS里部署WCF服务,和部署一般的网站一样,但是IIS5应该只支持http协议。
635 0
基于LogStash插件采集数据到阿里云Datahub
DataHub服务基于阿里云自研的飞天平台,具有高可用,低延迟,高可扩展,高吞吐的特点,原生支持对接阿里云的多项服务,相关功能特点与Kafka类似。本身主要介绍如何使用LogStash采集数据写入Datahub。
620 0
新功能:日志服务命令行工具ETL发布!
日志服务命令行工具ETL发布,解决数据采集、分析查询、投递归档、外部整合过程中的数据规整痛点,提供实时、可靠、可扩展、可管理的运行模式支持,以及全面简单的ETL规则,并支持丰富的扩展支持。
3208 0
logstash-output-mongodb实现Mysql到Mongodb数据同步
本文主要讲解如何通过logstash-output-mongodb插件实现Mysql与Mongodb数据的同步。源数据存储在Mysql,目标数据库为非关系型数据库Mongodb。
79 0
惊!赞!日志审计服务重磅发布
云上合规“保护伞”,一键开启日志审计服务 阿里云日志审计服务,提供多账户下跨多云产品审计相关日志进行实时自动化中心化采集,并提供审计需要的存储、查询、信息汇总支持。覆盖Actiontrail、OSS、SLB、RDS、API网关等基础产品并支持自由对接到其他生态产品或自有SOC中心。
3855 0
+关注
唐恺
阿里云 SLS 研发工程师
24
文章
7
问答
来源圈子
更多
阿里云存储基于飞天盘古2.0分布式存储系统,产品包括对象存储OSS、块存储Block Storage、共享文件存储NAS、表格存储、日志存储与分析、归档存储及混合云存储等,充分满足用户数据存储和迁移上云需求,连续三年跻身全球云存储魔力象限四强。
+ 订阅
相关文档: 混合云容灾服务 混合云备份服务 日志服务
文章排行榜
最热
最新
相关电子书
更多
JS零基础入门教程(上册)
立即下载
性能优化方法论
立即下载
手把手学习日志服务SLS,云启实验室实战指南
立即下载