CentOS7上配置ELK

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介:

一、Elasticsearch

      1,从Elastic下载包到本地后解压缩。

      2,Elasticsearch不让从root用户启动,所以需要单独建个用户

1
2
useradd  elastic
chown  -R elastic:elastic  elasticsearch-5.3.0

     3,允许外网访问,修改conf里elasticsearch.yml,解注释:

1
network.host: 0.0.0.0

     4,启动elasticsearch

1
2
su  elastic
sh elasticsearch-5.3.0 /bin/elasticsearch  -d

     5,验证,浏览器访问服务器9200端口,应看到类似:

1
2
3
4
5
6
7
8
9
10
11
12
13
{
   "name" : "ufJRIlo",
   "cluster_name" : "elasticsearch",
   "cluster_uuid" : "_na_",
   "version" : {
     "number" : "5.3.0",
     "build_hash" : "3adb13b",
     "build_date" : "2017-03-23T03:31:50.652Z",
     "build_snapshot" : false,
     "lucene_version" : "6.4.1"
   },
   "tagline" : "You Know, for Search"
}

二、LogStash

   1,从elastic官网下包到本地解压。

   2,创建配置文件logstash.conf

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
input {
   file {
     path => [  "/tmp/*.log" , "/root/zhoulei/new/loginserver/logs/packages/*ACCOUNT.log"  ]
     exclude => [  "*DEBUG.log" "*INFO.log" "*ERROR.log"  ]
     start_position =>  "beginning"
   }
}
 
filter{
 
    grok{
      match => {  "message"  =>  "%{DATA:logTime}\|%{DATA:gameId}\|%{DATA:serverId}\|%{DATA:version}\|%{DATA:logType}\|%{DATA:behavior}\|%{DATA:channelId}\|%{DATA:clientVersion}\|%{DATA:platform}\|%{DATA:accountId}\|%{DATA:accountName}\|%{DATA:roleId}\|%{DATA:roleName}\|%{DATA:etc}\|*"  }
    }
 
    date{
       match => [  "logTime" , "yyyy-MM-dd HH:mm:ss.SSS"  ]
       target =>  "@timestamp"
       locale =>  "en"
       remove_field => [  "logTime"  ]
    }
 
    if  ([logType]== "SERVER" ){
      mutate{
         split=>[ "message" , "|" ]
         add_field =>{
            "online"  =>  "%{[message][22]}"
            "onlineMax"  =>  "%{[message][23]}"
         }
         remove_field =>[ "onlineNum" ]
         remove_field =>[ "maxNum" ]
      }
 
      mutate{
         convert => {  "online"  =>  "integer" }
         convert => {  "onlineMax"  =>  "integer" }
      }
    }
 
 
}
 
output {
   elasticsearch {
     hosts => [ "127.0.0.1:9200" ]
   }
}

   3,创建服务启动后台运行脚本

1
2
3
#!/bin/bash
 
nohup  . /logstash  -f logstash.conf > nohup .out &

三、Kibana

   1,下载安装包,可以下windows版,解压。

   2,编辑conf里kibana.yml,设置elasticsearch服务url

1
elasticsearch.url:  "http://127.0.0.1:9200/"

  3,验证服务,浏览器访问kibana所在机器的5601端口,可以看到Kibana页面。

本文转自   zl1030   51CTO博客,原文链接:http://blog.51cto.com/zl1030/1919697

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
2月前
|
Linux 开发工具 数据安全/隐私保护
Centos7:自动化配置vim | suoders信任列表添加普通用户
Centos7:自动化配置vim | suoders信任列表添加普通用户
22 0
|
14天前
|
Java Linux
为centos7配置jdk
为centos7配置jdk
25 3
|
21天前
|
网络协议 安全 Linux
linux配置防火墙 Centos7下 添加 端口白名单
linux配置防火墙 Centos7下 添加 端口白名单
44 0
|
7天前
|
Linux 网络安全 开发工具
Centos6.5安装并配置Telnet服务
该内容是一个关于如何安装配置Telnet服务的教程。首先,通过yum安装vim、xinetd、telnet和telnet-server。接着,修改/etc/xinetd.d/telnet配置文件,将disable改为no,并设置访问限制(如限定特定网段和时间)。关闭防火墙,重启服务。创建测试用户后,分别使用CentOS和Windows的Telnet客户端进行连接测试,显示成功,实验完成。
17 1
|
4天前
|
缓存 Linux
Centos阿里云源配置
Centos阿里云源配置
17 0
|
5天前
|
网络协议 Java 应用服务中间件
记录_centos7离线环境和虚拟机共享文件安装jdk和tomcat(配置环境变量)
记录_centos7离线环境和虚拟机共享文件安装jdk和tomcat(配置环境变量)
6 0
|
7天前
|
Linux 网络安全 开发工具
Centos7 sendmail服务安装与配置
该文本描述了在Linux系统中设置邮件服务的步骤。首先,启用httpd的邮件发送功能,然后安装sendmail、sendmail-cf和dovecot。接着配置/sendmail.mc,设定IP和邮件域名。在dovecot配置文件中启用imap、pop3和lmtp协议,取消明文认证限制,设定mail_location,并开启SSL。创建用户mail3和mail4,给予相应权限。停止postfix服务,编辑访问控制、提交配置、本地主机名等文件。最后,重置sendmail、dovecot和saslauthd服务。
28 0
|
7天前
|
运维 网络协议 Linux
【运维系列】Centos7安装并配置PXE服务
PXE是Intel开发的预启动执行环境,允许工作站通过网络从远程服务器启动操作系统。它依赖DHCP分配IP,DNS服务分配主机名,TFTP提供引导程序,HTTP/FTP/NFS提供安装源。要部署PXE服务器,需关闭selinux和防火墙,安装dhcpd、httpd、tftp、xinetd及相关服务,配置引导文件和Centos7安装源。最后,通过syslinux安装引导文件,并创建pxelinux.cfg/default配置文件来定义启动参数。
38 0
|
7天前
|
运维 网络协议 Linux
【运维系列】Centos7安装并配置postfix服务
安装CentOS7的Postfix和Dovecot,配置Postfix的`main.cf`文件,包括修改完全域名、允许所有IP、启用邮箱等。然后,配置Dovecot的多个配置文件以启用auth服务和调整相关设置。重启Postfix和Dovecot,设置开机自启,并关闭防火墙进行测试。最后,创建邮箱账户并在Windows邮箱客户端中添加账户设置。
13 0
|
7天前
|
网络协议 Linux 网络安全
Centos7 配置DNS服务
该教程指导配置DNS服务器:首先通过yum安装bind和cach件,然后修改IP设置。接着,编辑/etc/named.conf,将第13行和21行的参数改为"any"。在/etc/named.rfc1912中更新正向和反向域名。创建正向解析文件/var/named.localhost和反向解析文件/var/named.loopback,按指定格式添加解析记录。最后,重启服务,确保防火墙关闭,通过nslookup检查DNS配置效果。
17 1