开发者社区> 天飞.h> 正文

Learning ELK stack 学习笔记

简介: 不错的入门书Learning ELK stack 第三章: Logstash插件类型分为四类:  Input  Filter  Output  Codec Logstash input类的file插件维护了一个sincedb文件追踪监控操作文件的当前位置。
+关注继续查看
不错的入门书Learning ELK stack
第三章:
Logstash插件类型分为四类:
 Input
 Filter
 Output
 Codec

Logstash input类的file插件维护了一个sincedb文件追踪监控操作文件的当前位置。默认写入$HOME/.sincedb*,游标及读取频率可以通过配置修改。
file的两个配置属性:sincedb_path,sincedb_write_interval(默认15秒读取一次文件)
这里还涉及另一个配置 start_position => "beginning" 或"end"(默认),使用beginning,如果移除了.sincedb,将重新读取历史数据,造成数据重复。
lumberjack和logstash forwarder(轻量化的logstash)使用lumberjack协议打包日志
redis经常做为logstash forwarder 与logstash的中间人角色,在高负载系统上提供获取日志的服务。

Logstash outpu类型插件:
重点是elasticsearch,email,kafka,lumberjack,redis,
Logstash filter类型插件:
date,drop,grok解析非结构化的日志转换成结构化,mutate重命名,移除,替换,修改字段,转换字段类型,合并字段等
Logstash codec类型插件:编码解码日志
json,mutliline


第五章节:
elasticsearch > indices > documents(json) > fields(_type,mapping)
                    pattern=>"logstash-%{+YYYY.MM.dd}"(默认index)
shard:index的物理存储位置,支持Primary shard and replica shard, 默认每个document使用5个shard
    replica shard分布在各个节点上,可以failover与平均负载

cluster > nodes :三种角色
                =>data node
                =>master node
                =>routing node & load banlancer node
elasticsearch api
    $curl -X '://://?'d ''
VERB:GET, POST, PUT,DELETE, HEAD
PROTOCAL:http,https
PATH:/index/type/id
OPERATION_NAME: _search, _count, and so on
QUERY_STRING: ?pretty for pretty print of JSON documents
BODY: This makes a request for body text.
查看指定index的document
thinkt@linux-pw37:~> curl -XGET 'http://192.168.56.101:9200/logstash-2016.09.09/_search?pretty'
{
  "took" : 107,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 1,
    "max_score" : 1.0,
    "hits" : [ {
      "_index" : "logstash-2016.09.09",
      "_type" : "logs",
      "_id" : "AVf3tVjYndkMLGPlmtnx",
      "_score" : 1.0,
      "_source" : {
        "message" : "2016-09-09,770.099976,773.244995,759.659973,759.659973,1812200,759.659973",
        "@version" : "1",
        "@timestamp" : "2016-09-09T00:00:00.000Z",
        "path" : "/home/vagrant/table.csv",
        "host" : "localhost.localdomain",
        "Date" : "2016-09-09",
        "Open" : 770.099976,
        "High" : 773.244995,
        "Low" : 759.659973,
        "Close" : 759.659973,
        "Volume" : 1812200,
        "Adj_close" : 759.659973
      }
    } ]
  }
}
查看所有index
thinkt@linux-pw37:~> curl -XGET 'http://192.168.56.101:9200/_cat/indices?v'
health status index               pri rep docs.count docs.deleted store.size pri.store.size
yellow open   logstash-2016.03.18   5   1          1            0      7.9kb          7.9kb
yellow open   logstash-2016.03.17   5   1          1            0      7.9kb          7.9kb
yellow open   logstash-2016.03.16   5   1          1            0      7.9kb          7.9kb
yellow open   logstash-2016.03.15   5   1          1            0      7.9kb          7.9kb
yellow open   logstash-2016.06.07   5   1          1            0      7.9kb          7.9kb
yellow open   logstash-2016.06.08   5   1          1            0      7.9kb          7.9kb
yellow open   logstash-2016.06.09   5   1          1            0      7.9kb          7.9kb
yellow open   logstash-2016.08.31   5   1          1            0        8kb            8kb
yellow open   logstash-2016.09.01   5   1          1            0      7.9kb          7.9kb
yellow open   logstash-2016.08.30   5   1          1            0        8kb            8kb
yellow open   logstash-2016.03.21   5   1          1            0      7.9kb          7.9kb
yellow open   logstash-2016.06.14   5   1          1            0      7.9kb          7.9kb
yellow open   logstash-2016.09.08   5   1          1            0        8kb            8kb
yellow open   logstash-2016.06.15   5   1          1            0      7.9kb          7.9kb
yellow open   logstash-2016.09.09   5   1          1            0      7.9kb          7.9kb
yellow open   logstash-2016.06.16   5   1          1            0      7.9kb          7.9kb
yellow open   logstash-2016.09.06   5   1          1            0      7.9kb          7.9kb

查看集群中所有nodes
thinkt@linux-pw37:~> curl -XGET 'http://192.168.56.101:9200/_cat/nodes?v'
host      ip        heap.percent ram.percent load node.role master name
10.0.2.15 10.0.2.15           13          56 0.00 d         *      node-1

logstash 的elasticsearch 插件会自动创建index


kibana4特性:
搜索关键字高亮
聚合类型:桶,度量
可脚本化的字段
动态展示

kibana的主项:
discover,visualize,dashboard,settings

discover的search box搜索记录默认最多显示500条index documents
    time filter支持quick,absolute,relative三种时间过滤方式,并支持定义自动刷新间隔,也可以使用histogram直方图拖动选择时间。
    查询语法使用lucene语法
    Lucene     
        n.     Lucene是一个非常优秀的开源的全文搜索引擎; 我们可以在它的上面开发出各种全文搜索的应用来。Lucene在国外有很高的知名度; 现在已经是Apache的顶级项目; 在国内;
    搜索方式:search box 文本查询,field查询

visualize,dashboard


阻止数据丢失
logs > borker(redis,rabbit mq,amqp,zeroMQ) > logstash > elasticsearch > kibana > nginx
加固数据访问
elasticsearch,kibana使用SSL认证访问elasticsearch
    browser-(ssl_key_file,ssl_cert_file)->kibana->elasticsearch
Elasticsearch shield(收费)
Search guard(free)
系统伸缩性
    horizontally scalable
    fast,quick,realtime
    inexpensive便宜的
    flexable弹性灵活的
    用户量及支持力度
    开源的
    
数据保留策略
    elasticsearch curator管理indeices


版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Learning The Bash Shell读书笔记(整理)
最近搞了一本书 Learning Bash Shell,发现有人已经写了阅读笔记,我就在这边整理一下  来自blog:http://blog.sina.com.cn/n4mine Learning The Bash Shell读书笔记(1)bash初识,通配符 Learning The Ba...
865 0
工欲善其事必先利其器SecureCRT+VMware® Workstation_学习笔记
时间:2017.12.31作者:李强参考:man,info,magedu讲义,万能的internet实验环境:VMware® Workstation 12 Pro ,Centos 6.9,Centos 7.4,SecureCRT Version 8.1.4声明:以下英文纯属个人翻译,英文B级,欢迎纠正,以下内容纯属个人理解,并没有对错,只是参考,盗版不纠,才能有限,希望不误人子弟为好。
785 0
使用OpenApi弹性释放和设置云服务器ECS释放
云服务器ECS的一个重要特性就是按需创建资源。您可以在业务高峰期按需弹性的自定义规则进行资源创建,在完成业务计算的时候释放资源。本篇将提供几个Tips帮助您更加容易和自动化的完成云服务器的释放和弹性设置。
20887 0
2019年深度学习Top 5研究论文,一文Get硬核干货:XLNet、网络剪枝、StarGAN
近日,在人工智能领域拥有超过10年经验的Rubik’s Code公司评选出了2019年深度学习领域Top5论文。在2019年岁末,这些研究论文对于我们洞见深度学习的前沿进展及发展趋势具有重要的意义。
29 0
+关注
天飞.h
脚踏实地,仰望天空. https://talenhao.github.io/
260
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
JS零基础入门教程(上册)
立即下载
性能优化方法论
立即下载
手把手学习日志服务SLS,云启实验室实战指南
立即下载