1. 搭建专用网络
1.1 登录专有网络管理控制台
阿里云Elasticsearch是搭建在专有网络上的，所以我们先开通阿里云专有网络, 点击开通 .
1.2 创建专有网络
点击创建专有网络
在专有网络名称和交换机上写好名字，后续在购买es和ecs时候对应需要。
参考链接：https://helpcdn.aliyun.com/document_detail/65430.html
2. 购买Elasticsearch服务
2.1 购买入口
2.2 购买服务
在订单页面上选择已经创建的专有网络并设置登录密码
购买页面的登录账号默认为“elastic”，密码可自行设置，与登录Kibana的账号密码是一致的。
2.3 控制台查看状态
成功购买之后进入阿里云控制台选择大数据(数加)->阿里云Elasticsearch
2.4 登录kibana控制台
从控制台点击实例之后可以看到kibana控制台，并用购买时候的用户名和密码进行登录
2.5 测试Elasticsearch
通过以上步骤已经创建了Elasticsearch实例，做简单的测试可以通过Kibana的DevTools进行命令发送，但在此我们为了通过logstash抓取日志并推送到es中，因此还需要购买ecs实例安装logstash并与elasticsearch打通。
[点击参考详细测试步骤]( https://help.aliyun.com/document_detail/57877.html)。
3. 购买ECS实例
在专有网络控制台选择交换机，并选择购买ECS实例
购买ecs步骤省略。
ssh root@49.52.196.12
测试是否与es网络通畅
4. 安装logstash
4.1 安装logstash
wget https://artifacts.elastic.co/downloads/logstash/logstash-5.5.3.tar.gz
tar -xzvf logstash-5.5.3.tar.gz
mv logstash-5.5.3 /usr/share/
ln –sf /usr/share/logstash/bin/logstash /bin/
AI 代码解读
4.2 创建索引
因为阿里云默认关闭了elasticsearch的自动创建索引功能，因此需要先创建好索引
curl -u elastic:elastic -XPUT http://es-cn-4590ijkny001dmjfy.elasticsearch.aliyuncs.com:9200/blog_index -d '{
"blog_index":{
"settings" : {
"number_of_shards" : "1",
"number_of_replicas" : "1"
}
},
"mappings" : {
"blog_type" : {
"properties" : {
"uid" : {
"type" : "long"
},
"name" : {
"type" : "text"
},
"create_time" : {
"type" : "long"
}
}
}
}
}
}'
AI 代码解读
4.3 添加文档
curl -u elastic:elastic -XPOST http://es-cn-4590ijkny001dmjfy.elasticsearch.aliyuncs.com:9200/blog_index/blog_type -d '{"uid":100000, "name": "ruby","create_time":12121212121}'
{"_index":"blog_index","_type":"blog_type","_id":"AWIO9S2KAoLK5rH2_0Oy","_version":1,"result":"created","_shards":{"total":2,"successful":2,"failed":0},"created":true}
AI 代码解读
4.4 连接elasticsearch
4.4.1 启动logstash并监听标准输入
logstash -e 'input { stdin { } } output { elasticsearch {
hosts => ["es-cn-4590ijkny001dmjfy.elasticsearch.aliyuncs.com:9200"]
user => ["elastic"]
password => ["elastic"]
index => ["blog_index"]
} stdout { codec => rubydebug }}'
AI 代码解读
4.4.2 输入文档
{"uid":200000, "name": "ruby2","create_time":122121212121}
AI 代码解读
4.5 logstash监听log4j
4.5.1 使用配置文件启动logstash
vim /etc/logstash/conf.d/elk.conf
添加一下内容
input { stdin { } }
output { elasticsearch {
hosts => ["es-cn-4590ijkny001dmjfy.elasticsearch.aliyuncs.com:9200"]
user => ["elastic"]
password => ["elastic"]
index => ["blog_index"]
} stdout { codec => rubydebug }
}
AI 代码解读
启动
logstash –f /etc/logstash/conf.d/elk.conf
添加文档
{"uid":300000, "name": "ruby3","create_time":122121212121}
AI 代码解读
4.5.2 输入源配置log4j日志文件
vi /etc/logstash/conf.d/elk.conf
编辑配置添加一下配置
input {
file{
path => "/var/log/messages"
type => "system"
start_position => "beginning"
}
stdin { } }
output {
elasticsearch {
hosts => ["es-cn-4590ijkny001dmjfy.elasticsearch.aliyuncs.com:9200"]
user => ["elastic"]
password => ["elastic"]
index => ["blog_index"]
}
stdout { codec => rubydebug }
}
启动
logstash -f /etc/logstash/conf.d/elk.conf
logstash将日志文件中内容全部采集到elasticsearch中
AI 代码解读
5.Elasticsearch的日志检索介绍
文章上半部分已对elk的入门搭建进行了介绍，下面我们将学习如何使用es进行文档检索。
5.1 基本概念
5.1.1 Node和Cluster
Elastic 本质上是一个分布式数据库，允许多台服务器协同工作，每台服务器可以运行多个 Elastic 实例。
单个 Elastic 实例称为一个节点（node）。一组节点构成一个集群（cluster）。
5.1.2 Index
Elastic 会索引所有字段，经过处理后写入一个反向索引（Inverted Index）。查找数据的时候，直接查找该索引。
所以，Elastic 数据管理的顶层单位就叫做 Index（索引）。它是单个数据库的同义词。每个 Index （即数据库）的名字必须是小写。
下面的命令可以查看当前节点的所有 Index。
curl -u elastic:elastic -XGET http://es-cn-4590ijkny001dmjfy.elasticsearch.aliyuncs.com:9200/_cat/indices?v
5.1.3 Document
Index 里面单条的记录称为 Document（文档）。许多条 Document 构成了一个 Index。
{
"uid": "10000",
"name": "ruby",
" create_time ": "10293822737"
}
AI 代码解读
同一个 Index 里面的 Document，不要求有相同的结构（scheme），但是最好保持相同，这样有利于提高搜索效率。
5.1.4 Type
Document 可以分组，比如上面执行过程中我们分别通过命令行执行添加文档，通过logstash标准输入添加文档，监听日志文件添加文档，从kibana可以看出分别用3种type进行了分类
不同的 Type 应该有相似的结构（schema），举例来说，id字段不能在这个组是字符串，在另一个组是数值。这是与关系型数据库的表的一个区别。性质完全不同的数据（比如products和logs）应该存成两个 Index，而不是一个 Index 里面的两个 Type（虽然可以做到）。
下面的命令可以列出每个 Index 所包含的 Type。
curl -u elastic:elastic -XGET http://es-cn-4590ijkny001dmjfy.elasticsearch.aliyuncs.com:9200/_mapping?pretty=true | more
AI 代码解读
5.1.5 文档检索
5.1.5.1 返回所有记录
curl -u elastic:elastic -XGET http://es-cn-4590ijkny001dmjfy.elasticsearch.aliyuncs.com:9200/blog_index/logs/_search
AI 代码解读
{
"took": 3,
"timed_out": false,
"_shards": {
"total": 5,
"successful": 5,
"failed": 0
},
"hits": {
"total": 2,
"max_score": 1.0,
"hits": [{
"_index": "blog_index",
"_type": "logs",
"_id": "AWIO_AUMoaPK_6mTOPor",
"_score": 1.0,
"_source": {
"@timestamp": "2018-03-10T08:17:00.138Z",
"@version": "1",
"host": "iZbp1bc4zyc7sxa8jhwur3Z",
"message": "{\"uid\":200000, \"name\": \"ruby2\",\"create_time\":122121212121}"
}
}, {
"_index": "blog_index",
"_type": "logs",
"_id": "AWIPFPLeAoLK5rH2_0VU",
"_score": 1.0,
"_source": {
"@timestamp": "2018-03-10T08:44:13.854Z",
"@version": "1",
"host": "iZbp1bc4zyc7sxa8jhwur3Z",
"message": "{\"uid\":300000, \"name\": \"ruby3\",\"create_time\":122121212121}"
}
}]
}
}
AI 代码解读
上面代码中，返回结果的 took字段表示该操作的耗时（单位为毫秒），timed_out字段表示是否超时，hits字段表示命中的记录，里面子字段的含义如下。
total：返回记录数，本例是2条。
max_score：最高的匹配程度，本例是1.0。
hits：返回的记录组成的数组。
返回的记录中，每条记录都有一个_score字段，表示匹配的程序，默认是按照这个字段降序排列。
5.1.5.2 全文搜索
查询语法：https://www.elastic.co/guide/en/elasticsearch/reference/5.5/query-dsl.html
使用条件搜索
curl -u elastic:elastic -XGET http://es-cn-4590ijkny001dmjfy.elasticsearch.aliyuncs.com:9200/blog_index/logs/_search -d '
{
"query" : { "match" : { "message" : "ruby3" }},
"from":1,
"size":1
}
AI 代码解读
匹配条件为
message字段里包含 ruby3,
size为返回条数,
from为开始位置，可用户分页查询
结果为:
{
"took": 6,
"timed_out": false,
"_shards": {
"total": 5,
"successful": 5,
"failed": 0
},
"hits": {
"total": 1,
"max_score": 6.061471,
"hits": [{
"_index": "blog_index",
"_type": "logs",
"_id": "AWIPFPLeAoLK5rH2_0VU",
"_score": 6.061471,
"_source": {
"@timestamp": "2018-03-10T08:44:13.854Z",
"@version": "1",
"host": "iZbp1bc4zyc7sxa8jhwur3Z",
"message": "{\"uid\":300000, \"name\": \"ruby3\",\"create_time\":122121212121}"
}
}]
}
}
AI 代码解读
5.1.5.3 逻辑运算
或查询示例:
"query" : { "match" : { "message" : "ruby3 ruby2" }}
AI 代码解读
结果中包含ruby3 或则 ruby2
与查询示例:
"query" : {
"bool":{
"must":[
"match" : { "message" : "ruby2" }},
"match" : { "message" : "ruby3" }}
]
}
}
AI 代码解读
6.kibana的分析功能介绍
6.1 创建索引
左边导航上选择Management->Kibana(Index Patterns),此处需要先手动命令行创建索引，然后再kibana中建立视图;
6.2 Discover
此功能是通过搜索查看文档数据，可通过添加过滤器或则填写表达式来进行搜索;
6.3 Visualize
此功能是将查询出的数据进行可视化展示；
6.4 Dashboard
这里主要对筛选条件进行组合并保存；
在“Dashboard” 菜单界面中，我们可以自由排列一组已保存的可视化数据。
点击左侧 “Dashboard” 菜单，再点击界面中间的 “Create a dashboard” 按钮进行创建；
6.5 Timelion
Timelion 是一个时间序列数据的可视化，可以结合在一个单一的可视化完全独立的数据源。它是由一个简单的表达式语言驱动的，用来检索时间序列数据，进行计算，找出复杂的问题的答案，并可视化的结果。
