AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

ELK日志管理平台部署简介

2017-11-12 1697
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
检索分析服务 Elasticsearch 版，2核4GB开发者规格 1个月
推荐场景：
数据可视化分析航班信息
日志服务 SLS，月写入数据量 50GB 1个月
简介：

ELK是对Elasticsearch、Logstash、Kibana整合平台的简称。在日常的运维工作中，要实时监控服务器的业务、系统和硬件状态，除了使用监控之外，还需要搜集大量的日志来进行分析。但是在面对海量的服务器和集群时，通过单台登录查询的方式显然是不可能的，对于不同时间段和集群日志的分析仅仅通过简单的脚本来统计也是难以实现。ELK日志平台通过日志搜集，查询检索和前端展示的方式帮我们实现了这样的功能。

  • Elasticsearch是个开源分布式搜索引擎，具有分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等特性。http://www.elastic.co/cn 

  • Logstash是一个完全开源的工具，他可以对日志进行收集、分析，并将其存储.

  • Kibana 是一个开源和免费的工具，可以为 Logstash 和 ElasticSearch 提供的日志分析友的 Web 界面.


ELKStack 部署

Elasticsearch部署

Elasticsearch 需要安装java环境，首先需要安装JDK.

1
2
3
4
5
[root@node1] #  yum install -y  java-1.8.0-openjdk 
[root@node1] # java -version
openjdk version  "1.8.0_111"
OpenJDK Runtime Environment (build 1.8.0_111-b15)
OpenJDK 64-Bit Server VM (build 25.111-b15, mixed mode)

安装Elasticsearch,可以通过在官方下载rpm包进行安装,由于yum安装的版本比较老，推荐使用在官方下载rpm包的方式安装。

推荐下载使用5.6的版本：

http://www.elastic.co/downloads/elasticsearch 

 yum 安装Elasticsearch:

1
yum  install  -y elasticsearch

  

LogStash部署

 和Elasticsearch一样，在开始部署LogStash之前也需要你的环境中正确的安装的JDK。可以下载安装Oracle的JDK或者使用 yum安装openjdk.这里部署node2上。同样的，如果是在不同的机器上安装Logstash，需要再次下载安装PGP key:

1
rpm -- import  https: //packages .elastic.co /GPG-KEY-elasticsearch

添加YUM仓库：

1
2
3
4
5
6
7
[root@node2 ~] # vim /etc/yum.repos.d/logstash.repo
[logstash-2.3]
name=Logstash repository  for  2.3.x packages
baseurl=https: //packages .elastic.co /logstash/2 .3 /centos
gpgcheck=1
gpgkey=https: //packages .elastic.co /GPG-KEY-elasticsearch
enabled=1

安装Logstash：

1
[root@node2 ~] # yum install -y logstash


Kibana部署

如果是在不同的机器上部署Kibana,需要安装PGP key.这里部署在node1上，所以不必再次安装。

添加yum仓库：

1
2
3
4
5
6
7
[root@node1 ~] # vim /etc/yum.repos.d/kibana.repo 
[kibana-4.5]
name=Kibana repository  for  4.5.x packages
baseurl=http: //packages .elastic.co /kibana/4 .5 /centos
gpgcheck=1
gpgkey=http: //packages .elastic.co /GPG-KEY-elasticsearch
enabled=1

安装Kibana:

1
[root@node1 ~] #   yum install -y kibana


在实际的生产环境，可以创建本地的YUM仓库，使用Cobbler来创建自己的YUM仓库：

1
2
3
4
5
6
7
[root@log-node1 ~] # cobbler repo add --name=logstash-2.3 \
  --mirror=http: //packages .elastic.co /logstash/2 .3 /centos  --arch=x86_64 --breed=yum
[root@log-node1 ~] # cobbler repo add --name=elasticsearch2 \
  --mirror=http: //packages .elastic.co /elasticsearch/2 .x /centos  --arch=x86_64 --breed=yum
[root@log-node1 ~] # cobbler repo add --name=kibana4.5  \
  --mirror=http: //packages .elastic.co /kibana/4 .5 /centos  --arch=x86_64 --breed=yum
[root@log-node1 ~] # cobbler reposync


配置Elasticsearch

修改elasticsearch的配置文件：

1
2
3
4
5
6
7
8
9
[root@node1 ~] # cd  /etc/elasticsearch/
[root@node1 elasticsearch] # grep "^[a-Z]" elasticsearch.yml 
cluster.name: myes      #自定义cluster名称
node.name: node1        #本地节点主机名
path.data:  /data/es-data    #数据路径，如果是自定义的，需要修改目录权限elasticsearch
path.logs:  /var/log/elasticsearch   #日志路径
bootstrap.memory_lock:  true         #在启动时锁定内存，提升性能
network.host: 172.16.10.20          #本地主机名
http.port: 9200                     #监听的端口

修改es内存参数,使最大内存和最小内存保持一致: (这里一般设置es内存为不超过服务器总内存的50%，最大不超过32G，最小应该大于2G)

vim /etc/elasticsearch/jvm.options

1
2
3
4
# Xms represents the initial size of total heap space
# Xmx represents the maximum size of total heap space
-Xms4g
-Xmx4g

要使设置的内存生效，需要修改启动脚本的参数：

1
2
3
  vim  /usr/lib/systemd/system/elasticsearch .service
   LimitNOFILE=65536  
   LimitMEMLOCK=infinity   # 设置内存不限制


修改数据目录的权限，并启动：

1
2
chown   -R elasticsearch.elasticsearch  /data/es-data
systemctl  start elasticsearch

验证是否启动：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
[root@node1 elasticsearch] # curl 172.16.10.20:9200
{
   "name"  :  "node1" ,
   "cluster_name"  :  "myes" ,
   "cluster_uuid"  :  "0lJjtxjBRfeMO9WY8bl3-Q" ,
   "version"  : {
     "number"  :  "2.4.3" ,
     "build_hash"  :  "d38a34e7b75af4e17ead16f156feffa432b22be3" ,
     "build_timestamp"  :  "2016-12-07T16:28:56Z" ,
     "build_snapshot"  :  false ,
     "lucene_version"  :  "5.5.2"
   },
   "tagline"  :  "You Know, for Search"
}
1
2
3
4
5
[root@node1 elasticsearch] # curl -i  -XGET 'http://172.16.10.20:9200/_count?'
HTTP /1 .1 200 OK
Content-Type: application /json ; charset=UTF-8
Content-Length: 59
{ "count" :0, "_shards" :{ "total" :0, "successful" :0, "failed" :0}}

安装head:

在elasticsearch 5.x版本以后不再支持直接安装head插件，而是需要通过启动一个服务方式，git地址：https://github.com/mobz/elasticsearch-head 

下载此zip包到服务器。同时需要安装npm,   NPM的全称是Node Package Manager，是随同NodeJS一起安装的包管理和分发工具，它很方便让JavaScript开发者下载、安装、上传以及管理已经安装的包。


1
2
3
4
5
6
7
[root@node1 ~] # git clone git://github.com/mobz/elasticsearch-head.git 
[root@node1 ~] # yum install -y npm
[root@node1 ~] # cd elasticsearch-head
[root@node1 elasticsearch- head ] # npm install grunt -save
[root@node1 elasticsearch- head ] # ll node_modules/grunt  #确认生成文件
[root@node1 elasticsearch- head ] # npm install #执行安装 
[root@node1 elasticsearch- head ] # npm run start & 后台启动

使用9100端口登录，此时无法查看到节点的状态：

image.png

这时，需要开启跨域访问支持，然后重启elasticsearch服务：

[root@node2 elk]# vim /etc/elasticsearch/elasticsearch.yml ，末尾添加：

1
2
3
4
5
# 允许使用es-head插件访问,在5.6的版本中需要添加这两项参数
http.cors.enabled:  true
http.cors.allow-origin:  "*"
 
[root@node2 elk] # systemctl restart elasticsearch

两个节点都修改配置文件后，显示节点已经加入集群：

image.png


添加Elasticsearch集群

当使用head访问Elasticsearch时，由于只有一个主分片，所以显示的yellow的状态，为了保证可靠性，我们需要再添加一个副分片。

同理，在node2上也安装上Elasticsearch,配置文件修改为本地的参数，同时，配置单播参数，自动发现node2，只需在node2上配置单播即可。

1
2
3
4
5
6
7
8
9
[root@node2 elasticsearch] # grep "^[a-Z]" elasticsearch.yml 
cluster.name: myes
node.name: node2
path.data:  /data/es-data
path.logs:  /var/log/elasticsearch
bootstrap.memory_lock:  true
network.host: 172.16.10.21
http.port: 9200
discovery.zen. ping .unicast.hosts: [ "172.16.10.20" ,  "172.16.10.21" ]

重新启动node2上的Elasticsearch，在node1上使用head登录，添加索引值：

image.png



此时，发现node1和node2分片信息已经加入进来，图中产生的分片，需要在"any request" 中添加对应的索引。 

image.png

带的为master 节点，主节点会展示当前的状态。


Elasticsearch的健康检查

https://www.elastic.co/guide/en/elasticsearch/guide/current/_cluster_health.html 

Elasticsearch提供了自身用于健康检查的API，会返回一组JSON的数据：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
# curl -XGET http://172.16.10.20:9200/_cluster/health 
# curl -XGET http://172.16.10.20:9200/_cluster/health?pretty=true
{
   "cluster_name"  :  "myes" ,
   "status"  :  "green" ,
   "timed_out"  :  false ,
   "number_of_nodes"  : 2,
   "number_of_data_nodes"  : 2,
   "active_primary_shards"  : 11,
   "active_shards"  : 22,
   "relocating_shards"  : 0,
   "initializing_shards"  : 0,
   "unassigned_shards"  : 0,
   "delayed_unassigned_shards"  : 0,
   "number_of_pending_tasks"  : 0,
   "number_of_in_flight_fetch"  : 0,
   "task_max_waiting_in_queue_millis"  : 0,
   "active_shards_percent_as_number"  : 100.0
}

同时，官方还提供了多样监控信息，可以通过cat API的方式来返回需要的数据：

https://www.elastic.co/guide/en/elasticsearch/guide/current/_cat_api.html 

1
2
# curl -XGET http://172.16.10.20:9200/_cat/health
1482981911 11:25:11 myes green 2 2 22 11 0 0 0 0 - 100.0%

对集群中的任意一个节点去查询，此节点都会从搜集到整个集群的信息进行返回：

1
2
3
4
# curl -XGET http://172.16.10.20:9200/_cat/nodes?v
host         ip           heap.percent  ram .percent load node.role master name  
172.16.10.20 172.16.10.20            5          93 0.83 d         *      node1 
172.16.10.21 172.16.10.21            3          74 0.03 d         m      node2
1
2
3
4
# curl -XGET http://172.16.10.21:9200/_cat/nodes?v
host         ip           heap.percent  ram .percent load node.role master name  
172.16.10.20 172.16.10.20            5          93 0.92 d         *      node1 
172.16.10.21 172.16.10.21            3          74 0.01 d         m      node2


Elasticsearch有green/yellow/red  三种不同的状态级别，green 表示所有节点分片正常，yellow 表示主节点分片正常，副本节点分片存在故障或丢失，red 表示主节点分片丢失，在搜索时只能返回部分结果。

提示： 在生产环境部署前，需要调整文件描述符数量和maximum map count 数量，否则, 在修改之后需要重启Elasticsearch。

  如： sysctl -w vm.max_map_count=262144 


Logstash日志搜集

Logstash可以使用多种方式处理数据。其中常用的是使用INPUT,OUTPUT,FILTER等功能对数据进行搜集和处理。可以使用TCP，file, rsyslog等方式来搜集不同的日志。

简单示例：

1
2
3
4
5
# /opt/logstash/bin/logstash -e 'input { stdin{} } output { stdout{} }'
Settings: Default pipeline workers: 1
Pipeline main started
hello
2016-12-29T04:00:39.937Z node2 hello

指定格式输出：

1
2
3
4
5
6
7
8
9
# /opt/logstash/bin/logstash -e 'input { stdin{} } output { stdout{ codec => rubydebug} }'               
Pipeline main started
errttt
{
        "message"  =>  "errttt" ,
       "@version"  =>  "1" ,
     "@timestamp"  =>  "2016-12-29T07:24:41.016Z" ,
           "host"  =>  "node2"
}


Logstash使用插件将数据输入输出到不同的对象。

使用elasticsearch插件，output到Elasticsearch中：

https://www.elastic.co/guide/en/logstash/current/plugins-outputs-elasticsearch.html 

手动测试：

1
2
3
4
5
# /opt/logstash/bin/logstash -e 'input { stdin{} } output { elasticsearch { hosts => ["172.16.10.20:9200"] index => "logstash-%{+YYYY.MM.dd}" } }'
Settings: Default pipeline workers: 1
Pipeline main started
rrrrr
ooooooooooooo

在web界面显示收取的信息：

wKiom1hkuJaTZ3CKAAEg3NKAhqQ073.jpg



Logstash-Input-file

在实际的生产环境中，如果要使用Logstash来搜集文件需要在每台主机上安装Logstash，因为只有使用logstash才能读取本地的INPUT file,当然，也可以通过网络和其他方式将文件内容发送给Logstash.

按照上面手动执行的方式实现是不现实的，通常会编辑一个配置文件，在启动logstash的时候指定此配置文件，就可以将文件输出记录到系统中。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
# vim /etc/logstash/conf.d/demo.conf  # 默认文件的存放目录，可以在logstash的启动脚本中更改
input{
    stdin{}         # input 插件
}
filter{            # filter可以没有，可以为空
}
output{
    elasticsearch {
         hosts => [ "172.16.10.21:9200" ]       # output中的插件 => 表示等于，[]表示数组，此处可以加多个IP
         index =>  "logstash-%{+YYYY.MM.dd}"   # output中的index插件
}
    stdout{
         codec => rubydebug
   }
}

启动logstash，并使用 -f 指定文件：

1
2
3
4
5
6
7
8
9
10
# /opt/logstash/bin/logstash -f /etc/logstash/conf.d/demo.conf 
Settings: Default pipeline workers: 1
Pipeline main started
test1           #手动输入
{
        "message"  =>  "test1" ,
       "@version"  =>  "1" ,
     "@timestamp"  =>  "2016-12-29T07:55:12.738Z" ,
           "host"  =>  "node2"
}

这样在Elastic上就可以看到需要展示的数据。


使用Logstash搜集本地日志文件，并output到Elasticsearch

在node2主机上编辑Logstash的配置文件：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
# cat /etc/logstash/conf.d/file.conf 
input{
     file  {
         path => [ "/var/log/messages" , "/var/log/secure" ]
         type  =>  "system-log"
         start_position =>  "beginning"
}
}
filter{}
output{
     elasticsearch {
         hosts => [ "172.16.10.20:9200" ]
         index =>  "system-log-%{+YYYY-MM}"
}
}

启动Logstash：

1
# /opt/logstash/bin/logstash -f /etc/logstash/conf.d/file.conf

启动之后如下图：

wKiom1hkz_Wh54dPAAHdRtzoI-c680.jpg

上面的启动方式是前台启动，也可以使用系统默认的后台启动方式 ：

1
/etc/init .d /logstash  start


Logstash if条件判断

在需要搜集多种日志到不同的index中时，需要使用If条件判断的方式，将对应的不同日志，放到不同的索引中，如：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
[root@node2 ~] # cat /etc/logstash/conf.d/file.conf 
input{
     file  {
         path => [ "/var/log/messages" , "/var/log/secure" ]
         type  =>  "system-log"                                   # 指定TYPE,被监控的文件不能有type字段
         start_position =>  "beginning"
}
     file  {
         path =>  "/var/log/nginx/access.log"
         type  =>  "nginx-log" 
         start_position =>  "beginning"
}
}
filter { }
output {
     if  [ type ] ==  "system-log"  {                                # 根据type判断写入哪个index
     elasticsearch {
         hosts => [ "172.16.10.20:9200" ]
         index =>  "system-log-%{+YYYY-MM}"
   }
}
     if  [ type ] ==  "nginx-log"  {
     elasticsearch {
         hosts => [ "172.16.10.20:9200" ]
         index =>  "nginx-log-%{+YYYY-MM}"
                           }
                                            }
}


Logstash 正则匹配多行日志

在搜集日志的时候，默认是以事件的形式来逐条收集，但是如果同一事件日志内容有多行，如java日志，依旧使用默认的逐条收集的话，会造成日志格式支离破碎难以阅读，所以根据日志每段开始或者结尾的规律进行正则匹配，来收集日志也是非常重要的。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
input {
     stdin {
         codec => multiline{          # 在INPUT区域加入这四行，表示匹配以“[” 头的
             pattern =>  "^\["         # 日志内容为一个整体，进行记录
             negate =>  true
             what =>  "previous"
           }
        }
}
filter{
}
output{
     stdout{
         codec => rubydebug
     }
}

上面的匹配规则为：当遇到当前行以“[” 开头时，就重新生成一行内容,这样在Kibana上展示的日志就和本地日志格式相同了。


Logstash格式化收集Nginx日志

在收集nginx访问日志时，由于要对整个日志做分析，所以对日志的字段进行拆分的方式可以更加便捷的搜索和统计，nginx 支持将日志以JSON的格式打印出来进行处理，在Kibana上展示时就将各个字段以类似表格的形式展现出来。

修改nginx配置文件，以JSON格式对输出日志：

1
2
3
4
log_format   access_log_json '{ "user_ip" : "$http_x_real_ip" , "lan_ip" : \
"$remote_addr" , "log_time" : "$time_iso8601" , "user_req" : "$request" ,     \
"http_code" : "$status" , "body_bytes_sent" : "$body_bytes_sent" , "req_time" : \
"$request_time" , "user_ua" : "$http_user_agent" }';
1
access_log   /var/log/nginx/access .log  access_log_json;

编写logstash的配置文件，当有多项配置时，需要使用指定type，用if 语句去执行不同的动作，对日志指定json格式：

vim /etc/logstash/conf.d/file.conf                                                     

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
input{
     file  {
         path => [ "/var/log/messages" , "/var/log/secure" ]
         type  =>  "system-log"
         start_position =>  "beginning"
}
     file  {
         path =>  "/var/log/nginx/access.log"
         type  =>  "nginx-access-log" 
         codec =>  "json"                         # 指定json格式               
}
}
filter { }
output {
     if  [ type ] ==  "system-log"  {
     elasticsearch {
         hosts => [ "172.16.10.20:9200" ]
         index =>  "system-log-%{+YYYY-MM}"
   }
}
     if  [ type ] ==  "nginx-access-log"  {
     elasticsearch {
         hosts => [ "172.16.10.21:9200" ]
         index =>  "nginx-access-log-%{+YYYY-MM-dd}"
}
}
}

测试文件是否有语法错误：

1
2
  /opt/logstash/bin/logstash  -t -f  /etc/logstash/conf .d /file .conf                              
Configuration OK

指定文件启动：

1
  /opt/logstash/bin/logstash  -f  /etc/logstash/conf .d /file .conf

如果在Elasticsearch没有显示新的index，可以删除旧的.sincedb文件，重启logstash. 默认情况下.sincedb的文件是存放在/var/lib/logstash/,如果是指定文件启动的情况也可能会存放在家目录。

在后台启动时，会自动去读取/etc/logstash/conf.d目录下的配置文件：

1
/etc/init .d /logstash  start

wKiom1hmFW2ynhOjAAEUOIxL-3M266.jpg


Kibana前端展示

Kibana是用于Elasticsearch前端友好展示和搜索功能的界面，只需要配置和Elasticsearch相关联即可。

Kibana配置：

1
2
3
4
5
6
[root@node1 ~] # vim /opt/kibana/config/kibana.yml
[root@node1 ~] # grep "^[a-Z]" /opt/kibana/config/kibana.yml
server.port: 5601
server.host:  "0.0.0.0"
elasticsearch.url: "        # Elasticsearch的主机地址 
kibana.index:  ".kibana"

启动Kibana:

1
2
[root@node1 ~] # /etc/init.d/kibana start
kibana started

登录Kibana WEB界面，创建一个system-log的index，Kibana会自动匹配上当前已存在的INDEICES(事件)：

wKioL1hk1e-w8TyCAAHAuis5Cbs656.jpg


添加完之后，就可以在主界面查看当前index的日志信息了，提供了各种筛选日志的方式：

wKioL1hk2TeTYlDaAAD9_OKRETU620.jpg





 本文转自 酥心糖 51CTO博客，原文链接:http://blog.51cto.com/tryingstuff/1887647


文章标签：
日志服务
检索分析服务 Elasticsearch版
索引
监控
应用服务中间件
nginx
数据格式
关键词：
日志服务elk
日志服务平台
elk日志服务
ELK日志
ELK日志管理
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
科技小能手
目录
相关文章
郑小健
|
2月前
|
存储 运维 监控
超越传统模型：从零开始构建高效的日志分析平台——基于Elasticsearch的实战指南
【10月更文挑战第8天】随着互联网应用和微服务架构的普及，系统产生的日志数据量日益增长。有效地收集、存储、检索和分析这些日志对于监控系统健康状态、快速定位问题以及优化性能至关重要。Elasticsearch 作为一种分布式的搜索和分析引擎，以其强大的全文检索能力和实时数据分析能力成为日志处理的理想选择。
郑小健
184 6
1176112968452250
|
3月前
|
存储 消息中间件 网络协议
日志平台-ELK实操系列(一)
日志平台-ELK实操系列(一)
1176112968452250
172 0
warmhearted
|
1月前
|
存储 监控 安全
开源日志分析ELK Stack (Elasticsearch, Logstash, Kibana)
【10月更文挑战第21天】
warmhearted
178 7
1288912195458132
|
4月前
|
消息中间件 Kafka 开发工具
rsyslog+ELK收集Cisco日志
rsyslog+ELK收集Cisco日志
1288912195458132
123 1
qhhf_地道酬勤
|
4月前
|
存储 消息中间件 监控
Java日志详解：日志级别，优先级、配置文件、常见日志管理系统ELK、日志收集分析
Java日志详解：日志级别，优先级、配置文件、常见日志管理系统、日志收集分析。日志级别从小到大的关系（优先级从低到高）： ALL < TRACE < DEBUG < INFO < WARN < ERROR < FATAL < OFF 低级别的会输出高级别的信息，高级别的不会输出低级别的信息
qhhf_地道酬勤
190 0
一只牛博
|
7月前
|
存储 监控 数据可视化
日志分析对决：揭示 ELK 与 GrayLog 的优势和差异
日志分析对决：揭示 ELK 与 GrayLog 的优势和差异
一只牛博
1662 0
游客qf4jmczx4xu2y
|
7月前
|
存储 Prometheus 监控
Prometheus vs. ELK Stack：容器监控与日志管理工具的较量
随着容器化技术的广泛应用，容器监控与日志管理成为了关键任务。本文将对两种常用工具进行比较与选择，分别是Prometheus和ELK Stack。Prometheus是一款开源的监控系统，专注于时序数据的收集和告警。而ELK Stack则是一套完整的日志管理解决方案，由Elasticsearch、Logstash和Kibana三个组件组成。通过比较它们的特点、优势和适用场景，读者可以更好地了解如何选择适合自己需求的工具。
游客qf4jmczx4xu2y
697 1
憧憬blog
|
7月前
|
消息中间件 数据可视化 关系型数据库
ELK7.x日志系统搭建 4. 结合kafka集群完成日志系统
ELK7.x日志系统搭建 4. 结合kafka集群完成日志系统
憧憬blog
211 0
土木林森
|
4月前
|
运维 监控 Ubuntu
一键启动日志魔法：揭秘ELK自动安装脚本的神秘面纱！
【8月更文挑战第9天】在数据驱动时代，高效处理日志至关重要。ELK Stack（Elasticsearch、Logstash、Kibana）是强大的日志分析工具，但其复杂的安装配置常让初学者望而却步。本文介绍如何编写ELK自动安装脚本，简化部署流程。脚本适用于Ubuntu系统，自动完成ELK下载、安装及基本配置，包括依赖项安装、服务启动及自启设置，极大降低了使用门槛，助力运维人员和开发者轻松构建日志分析平台。
土木林森
171 6
花酒锄作田
|
4月前
|
存储 应用服务中间件 nginx
部署ELK+filebeat收集nginx日志
部署ELK+filebeat收集nginx日志
花酒锄作田
170 0
部署ELK+filebeat收集nginx日志

热门文章

最新文章

  • 1
    使用logrotate命令管理listener.log文件
  • 2
    访问日志不记录静态文件
  • 3
    怎样使用Secure CRT查看vcenter和esxi主机的日志文件
  • 4
    定期清理sql2005事务日志
  • 5
    警惕主动外联！云防火墙检测拦截勒索、Muhstik僵尸网络等 Log4j2漏洞利用
  • 6
    SharePoint 获取详细Log信息
  • 7
    mysql relay log参数汇总
  • 8
    Linux--日志的管理以及时间的同步
  • 9
    日志文件分析都是分析什么？
  • 10
    LogMiner日志分析工具的使用
  • 1
    更优性能与性价比，从自建 ELK 迁移到 SLS 开始
    55829
  • 2
    日志系统新贵Loki，确实比笨重的ELK轻
    191
  • 3
    ELK架构监控MySQL慢日志
    318
  • 4
    ELK架构
    127
  • 5
    【开发专题_03】unable to access ‘https://github.com/deviantony/docker-elk.git/‘: Failed connect to github
    149
  • 6
    日志分析对决：揭示 ELK 与 GrayLog 的优势和差异
    1662
  • 7
    ELK技术栈 - Kibana 学习笔记
    87
  • 8
    ELK技术栈 - Elasticsearch 学习笔记（三）
    111
  • 9
    ELK技术栈 - Elasticsearch 学习笔记（二）
    259
  • 10
    ELK技术栈 - Elasticsearch 学习笔记（一）
    268

    • 相关课程

    更多
  • 基于MongoDB构建实时日志分析平台
  • 日志服务SLS实现云产品可观测
  • 日志服务 SLS 可观测数据分析平台介绍
  • 大数据知识图谱系列—基于ELK+Flink日志全观测最佳实践
  • 场景实践-基于阿里云Quick BI 对MOOC网站日志分析
  • 可观测Grafana入门课程

    • 相关电子书

    更多
  • PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final
  • Kubernetes下日志实时采集、存储与计算实践
  • 日志数据采集与分析对接

    • 相关实验场景

    更多
  • 在SAE控制台极速部署个人LLM效能工具
  • MySQL数据库快速部署实践
  • 基于OpenTelemetry构建全链路追踪与监控
  • 使用CloudLens管理SLS日志采集
  • 使用CloudLens采集PolarDB日志并进行审计分析
  • 基于Flink+Tair搭建实时监控大屏
    • 下一篇
    DataWorks售前咨询