【云上ELK系列】阿里云Elasticsearch的Apache日志分析实践

简介: 阿里云Elasticsearch采集上游数据的方式有很多种,其中有一个与开源完全兼容的方案:通过logstash及logstash周围的强大的plugin实现数据采集。 首先我们需要在ECS中来安装部署logstash,购买阿里云ECS服务,准备1.8以上版本的JDK。
+关注继续查看

阿里云Elasticsearch采集上游数据的方式有很多种,其中有一个与开源完全兼容的方案:通过logstash及logstash周围的强大的plugin实现数据采集。

首先我们需要在ECS中来安装部署logstash,购买阿里云ECS服务,准备1.8以上版本的JDK。

wget https://artifacts.elastic.co/downloads/logstash/logstash-5.5.3.tar.gz

解压安装

tar -xzvf logstash-5.5.3.tar.gz 

通过logstash来做数据写elasticsearch的方案,我们需要创建一个logstash的管道,logstash的管道分为三个部分:

input {   
}
# 该部分被注释,表示filter是可选的
filter {  
}
output {   
}
  • 其中input中配置数据源;
  • output中配置目标源;
  • filter是可选配的部分,一般会配置数据过滤的逻辑;

这部分配置很简单,在logstash的目录下创建一个.conf的文件,按照上述的格式配置input和output:

input {
    file {
        path => "/usr/local/demoData/*.log"
        start_position => beginning
    }
}
output {
    elasticsearch {
        hosts => ["http://*******************:9200"]
        user => "*******"
        password => "***********"
    }
}

注:阿里云elasticsearch由于预置了X-Pack插件,所有的访问均需要做认证,您的output中需要配置username和password信息。

这次我希望将阿里云ECS上经常产生的Apache日志indexing到elasticsearch中,可以将logstash直接部署在web server所在的ECS中,如果担心影响业务,可以部署在网络可达的另一台ECS中。

注:logstash的input支持很多输入形式,如果将logstash部署在网络可达的另一台ECS中,则需要配置http的input格式模板,具体可以参考文档

input {
 http {
      host => "**********"
   port => "**********"
 }
}

由于阿里云Elasticsearch部署在VPC环境内,如果部署logstash的ECS处于经典网络,需要通过Classiclink的方式与VPC做打通,可以参考《经典网络访问常见问题》

接下来介绍如何通过logstash的filter快速解析Apache日志
Apache日志中一般会包含如下信息:

Information Field Name
IP Address clientip
User ID ident
User Authentication auth
timestamp timestamp
HTTP Verb verb
Request body request
HTTP Version httpversion
HTTP Status Code response
Bytes served bytes
Referrer URL referrer
User agent agent

假设我们希望从日志中发觉一些用户分布的信息,并且让不关系技术的运营同学可以直观的感受到,我们选择用Gork过滤器来解析Apache网络日志。

filter {
    grok {
        match => { "message" => "%{COMBINEDAPACHELOG}"}
    }
}

可以将原始的日志信息:

66.249.73.135 - - [04/Jan/2015:05:30:06 +0000] "GET /blog/web/firefox-scrolling-fix.html HTTP/1.1" 200 8956 "-" "Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

过滤成标准的Json结构:

{
"clientip" : "66.249.73.135",
"ident" : ,
"auth" : ,
"timestamp" : "04/Jan/2015:05:30:06 +0000",
"verb" : "GET",
"request" : "/blog/web/firefox-scrolling-fix.html",
"httpversion" : "HTTP/1.1",
"response" : "200",
"bytes" : "8956",
"referrer" : "http://www.google.com/bot.html",
"agent" : "Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25"
}

其中,我们可以通过IP来解析用户访问地址信息(当然这个是不准确的),方式是使用 geoip 插件来完成。

filter {
    geoip {
        source => "clientip"
    }
}

根据IP查对应的地址信息,并将地址信息作为 geoip 字段写入日志信息中。
geoip可以查询IP,获取如下的描述信息:

"geoip":{
        "timezone":"America/Los_Angeles",
        "ip":"66.249.73.135",
        "latitude":37.419200000000004,
        "continent_code":"NA",
        "city_name":"Mountain View",
        "country_name":"United States",
        "country_code2":"US",
        "dma_code":807,
        "country_code3":"US",
        "region_name":"California",
        "location":{
               "lon":-122.0574,
               "lat":37.419200000000004
        },
        "postal_code":"94043",
        "region_code":"CA",
        "longitude":-122.0574
},

我们可以通过geoip中的坐标信息,如location,在Kibana中做基于地图的访问人群分布的可视化展现了。
undefined

通过上述描述的方式,我们可以批量的处理ECS中的日志信息,并在Kibana中完成配置,最终获取如下的展示效果:
image.png | center | 704x395

参考文档《Configuring Logstash》

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
11月前
|
Go 索引
Go一分钟对接ElasticSearch实践
今天这篇分享:使用Go语言对接ElasticSearch实践。
235 0
|
自然语言处理
Elasticsearch自定义分析器analyzer分词实践
Elasticsearch自定义分析器analyzer分词实践
105 0
Elasticsearch自定义分析器analyzer分词实践
|
存储 Prometheus 监控
基于Elasticsearch的指标可观测实践
主要介绍Elasticsearch为什么做时序引擎、Elasticsearch做时序引擎的挑战、Elasticsearch 时序引擎特性介绍、阿里云基于Elasticsearch TimeStream介绍。文章结尾更有关于《阿里云Elasticsearch在时序场景下的深入探索》的demo演示视频。
1111 0
基于Elasticsearch的指标可观测实践
|
SQL 存储 JSON
ElasticSearch 查询与 Java API 实践(下)
ElasticSearch 查询与 Java API 实践
ElasticSearch 查询与 Java API 实践(下)
|
存储 Java 数据建模
ElasticSearch 查询与 Java API 实践(中)
ElasticSearch 查询与 Java API 实践
ElasticSearch 查询与 Java API 实践(中)
|
自然语言处理 算法 数据建模
ElasticSearch 查询与 Java API 实践(上)
ElasticSearch 查询与 Java API 实践
ElasticSearch 查询与 Java API 实践(上)
|
Web App开发 自然语言处理 JavaScript
|
存储 JSON 缓存
|
API 索引
|
存储 JSON 自然语言处理
搜索引擎Elasticsearch简介实践
之前在寻找日志收集搜索解决方案时,最常看到的便是 ELK
181 0
搜索引擎Elasticsearch简介实践
热门文章
最新文章
相关产品
检索分析服务 Elasticsearch版
推荐文章
更多
推荐镜像
更多