elasitc.co
ELK是elastic.co发布的三个产品，分别是elasticsearch, logstash, kibana，分别用来做搜索引擎、日志收集和报表展现。这三个东西经常被用到的业务场景就是日志收集展现。
本文将从实用角度出发，教你如何用ELK快速搭建一个日志收集平台。
elasticsearch
- 运行elasticsearch
./bin/elasticsearch -d - 测试运行状态
curl localhost:9200
- 创建索引
elasticsearch里面的表叫做索引（index），可以通过http请求的方式来创建索引，创建的方式是通过put请求，curl脚本如下：
curl -X PUT \ http://localhost:9200/test1 \ -H 'cache-control: no-cache' \ -H 'postman-token: 438a164f-2ded-b73e-b2ab-e53dbd7f800c' \ -d '{ "settings" : { "index" : { "number_of_shards" : 3, "number_of_replicas" : 2 } } }'
- 常见问题
- 启动失败
ERROR: bootstrap checks failed max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
这个问题是操作系统的vm.max_map_count参数设置太小导致的，解决方法：
$ sudo sysctl -w vm.max_map_count=262144 vm.max_map_count = 262144
logstash
- 运行logstash
./bin/logstash -e 'input { stdin {} } output {stdout{}}'
- 如果运行正常，则输入hello的运行结果如下：
hello 2017-06-21T10:12:40.471Z MacBook-Pro.local hello
- 一般我们都是将配置写到配置文件，用-f参数来运行，如：
./bin/logstash -f test.config
- 其中test.config里面包含的内容就是之前-e参数所指向的运行参数。
- 搭建http接口和json格式化
logstash配置文件由三个部分组成，上面已经提到了input和output两个部分，另外还有一个是filter，分别代表输入->过滤->输出，现在我们配置一个http输入、通过json格式化、输出到elasticsearch的logstash配置，配置文件内容如下：
dengzongrongdeMacBook-Pro:logstash-5.4.2 RoyDeng$ cat test.config input { http { port => 31311 type => "http" codec => "json" } } filter { json { source => "message" } } output { elasticsearch { hosts => "localhost" index => "test" } }
- 通过post请求，可以看到elasticsearch里面增加了数据，post请求如下：
curl -X POST \ http://localhost:31311/ \ -H 'cache-control: no-cache' \ -H 'postman-token: 888428ef-ee19-1030-9de4-6c4b333e4bca' \ -d '{"action":"test"}'
Kibana
- 配置运行kibana
下载kibana
修改config/kibana.yml配置文件，修改elastic search url，如下：
# The URL of the Elasticsearch instance to use for all your queries. elasticsearch.url: "http://localhost:9200"
- 然后运行
./bin/kibana启动kibana - 配置报表
kibana_config.png
上面显示的Time-field表示日志的时间，这个参数是必须的，因为kibana展现的一个重要维度就是时间，你上传的数据必须有一个字段代表时间。
当然，如果你是用logstash上传的数据，那么这个字段不需要你配置，logstash会自动帮你加上，但是logstash帮你加的时间是上传的时间。如果你不是希望用上传时间作为时间维度的话，这个字段就需要你上传的时候自己加上了。
然后在首页就能看到刚刚上传上去的数据了
kibana-dashboard.png
以上就是快速搭建日志平台的方法，后续会陆续补充ELK框架的一些高级用法，欢迎大家一起讨论。
