AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

elk-2

2023-08-25 110
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
Redis 开源版，标准版 2GB
推荐场景：
搭建游戏排行榜
检索分析服务 Elasticsearch 版，2核4GB开发者规格 1个月
推荐场景：
数据可视化分析航班信息
云数据库 Tair（兼容Redis），内存型 2GB
推荐场景：
通过缓存加速数据库访问
简介： elk-2

EFK日志收集

   Elasticsearch: 数据库，存储数据         java

   logstash: 日志收集，过滤数据            java

 kibana:    分析，过滤，展示                java

   filebeat: 收集日志，传输到ES或logstash      go filebeat官方文档：

 https://www.elastic.co/guide/en/beats/filebeat/current/index.html

环境：

   es主机：192.168.8.10  (内存：4G)

 elasticsearch

       kibana

       filebeat

       nginx


##################################################################

安装es主机：192.168.8.10

1.安装elasticsearch:

   前提：jdk-1.8.0

   复制elasticsearch-6.6.0.rpm到虚拟机

   rpm -ivh elasticsearch-6.6.0.rpm

   

2.修改配置文件：

vim /etc/elasticsearch/elasticsearch.yml
node.name: node-1                        
path.data: /data/elasticsearch            
path.logs: /var/log/elasticsearch        
bootstrap.memory_lock: true                
network.host: 192.168.8.10,127.0.0.1    
http.port: 9200

3.创建数据目录，并修改权限

mkdir -p /data/elasticsearch 
chown -R elasticsearch.elasticsearch /data/elasticsearch/

4.分配锁定内存:

vim /etc/elasticsearch/jvm.options
-Xms1g        #分配最小内存    
-Xmx1g        #分配最大内存,官方推荐为物理内存的一半，但最大为32G

5.修改锁定内存后，无法重启，解决方法如下：

systemctl edit elasticsearch

添加：

[Service]
LimitMEMLOCK=infinity
F2保存退出
systemctl daemon-reload
systemctl restart elasticsearch


##################################################################

在es主机上安装kibana

（1）安装kibana

rpm -ivh kibana-6.6.0-x86_64.rpm


（2）修改配置文件

vim /etc/kibana/kibana.yml

修改：

server.port: 5601
server.host: "192.168.8.10"
server.name: "db01"     #自己所在主机的主机名
elasticsearch.hosts: ["http://192.168.8.10:9200"]   #es服务器的ip，便于接收日志数据

保存退出


（3）启动kibana

systemctl start kibana


###################################################################

在nginx(192.168.8.20)主机上安装filebeat

1.安装filebeat

rpm -ivh filebeat-6.6.0-x86_64.rpm


2.修改配置文件

vim /etc/filebeat/filebeat.yml

修改：

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/nginx/access.log
output.elasticsearch:
  hosts: ["192.168.8.10:9200"]

保存退出


3.启动filebeat

systemctl start filebeat


######################################################################

在es主机安装httpd-tools

1.配置yum源，安装 httpd-tools

yum -y install  httpd-tools


2.使用ab压力测试工具测试访问

ab -c 1000 -n 20000 http://192.168.8.20/


3.在es浏览器查看filebeat索引和数据


4.在kibana添加索引

   management--create index

   discover--右上角--选择today

 

5.修改nginx的日志格式为json

vim /etc/nginx/nginx.conf

添加在http {}内：
 log_format log_json '{ "@timestamp": "$time_local", '
'"remote_addr": "$remote_addr", '
'"referer": "$http_referer", '
'"request": "$request", '
'"status": $status, '
'"bytes": $body_bytes_sent, '
'"agent": "$http_user_agent", '
'"x_forwarded": "$http_x_forwarded_for", '
'"up_addr": "$upstream_addr",'
'"up_host": "$upstream_http_host",'
'"up_resp_time": "$upstream_response_time",'
'"request_time": "$request_time"'
' }';
    access_log  /var/log/nginx/access.log  log_json;

保存退出

systemctl restart nginx


清空日志：vim /var/log/nginx/access.log

ab测试访问，生成json格式日志


7.修改filebeat配置文件

vim /etc/filebeat/filebeat.yml

修改为：

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/nginx/access.log
  json.keys_under_root: true
  json.overwrite_keys: true
output.elasticsearch:
  hosts: ["192.168.8.10:9200"]
  index: "nginx-%{+yyyy.MM.dd}"
setup.template.name: "nginx"
setup.template.patten: "nginx-*"
setup.template.enabled: false
setup.template.overwrite: true

保存退出

重启服务：systemctl restart filebeat


8.配置access.log和error.log分开

vim /etc/filebeat/filebeat.yml

修改为：

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/nginx/access.log
  json.keys_under_root: true
  json.overwrite_keys: true
  tags: ["access"]
- type: log
  enabled: true
  paths:
    - /var/log/nginx/error.log
  tags: ["error"]
output.elasticsearch:
  hosts: ["192.168.8.10:9200"]
  indices:
    - index: "nginx-access-%{+yyyy.MM.dd}"
      when.contains:
        tags: "access"
    - index: "nginx-error-%{+yyyy.MM.dd}"
      when.contains:
        tags: "error"
setup.template.name: "nginx"
setup.template.patten: "nginx-*"
setup.template.enabled: false
setup.template.overwrite: true

保存退出

重启服务：systemctl restart filebeat



===============================================================


kibana图表:

   登录--左侧面板选择visualize--点击“+”号--选择图表类型--选择索引--Buckets--x-Axis--Aggregation(选择Terms)--

   Field(remote_addr.keyword)--size(5)--点击上方三角标志

kibana监控（x-pack):

   登录--左侧面板选择--Monitoring--启用监控


===============================================================    

构建filebeat+redis+logstash+es+kibana架构


1.安装redis，并启动

（1）准备安装和数据目录

mkdir -p /data/soft
    mkdir -p /opt/redis_cluster/redis_6379/{conf,logs,pid}

（2）下载redis安装包

cd /data/soft
    wget http://download.redis.io/releases/redis-5.0.7.tar.gz


（3）解压redis到/opt/redis_cluster/

 

tar xf redis-5.0.7.tar.gz -C /opt/redis_cluster/
    ln -s /opt/redis_cluster/redis-5.0.7  /opt/redis_cluster/redis

 

（4）切换目录安装redis

 

cd /opt/redis_cluster/redis
    make && make install

 

（5）编写配置文件

vim /opt/redis_cluster/redis_6379/conf/6379.conf

添加：

bind 127.0.0.1 192.168.8.10
port 6379
daemonize yes
pidfile /opt/redis_cluster/redis_6379/pid/redis_6379.pid
logfile /opt/redis_cluster/redis_6379/logs/redis_6379.log
databases 16
dbfilename redis.rdb
dir /opt/redis_cluster/redis_6379

保存退出


（6）启动当前redis服务

redis-server /opt/redis_cluster/redis_6379/conf/6379.conf


2.修改filebeat配置文件，output给redis

（参考文档：https://www.elastic.co/guide/en/beats/filebeat/6.6/index.html）

（1）修改filebeat配置output指向redis，重启

vim /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/nginx/access.log
  json.keys_under_root: true
  json.overwrite_keys: true
  tags: ["access"]
- type: log
  enabled: true
  paths:
    - /var/log/nginx/error.log
  tags: ["error"]
setup.template.settings:
  index.number_of_shards: 3
setup.kibana:
output.redis:
  hosts: ["192.168.8.10"]
  key: "filebeat"
  db: 0
  timeout: 5

保存退出

重启服务：systemctl restart filebeat


（2）测试访问网站，登录redis，查看键值

redis-cli                #登录
keys *                    #列出所有键
type filebeat              #filebeat为键值名
LLEN filebeat            #查看list长度
LRANGE filebeat 0 -1     #查看list所有内容

3.安装logstash，收集redis的日志，提交给es

（1）安装logstash(安装包提前放在了/data/soft下)

cd /data/soft/
rpm -ivh logstash-6.6.0.rpm

（2）修改logstash配置文件，实现access和error日志分离

vim /etc/logstash/conf.d/redis.conf

添加：

input {
  redis {
    host => "192.168.8.10"
    port => "6379"
    db => "0"
    key => "filebeat"
    data_type => "list"
  }
}
filter {
  mutate {
    convert => ["upstream_time","float"]
    convert => ["request_time","float"]
  }
}
output {
  stdout {}
   if "access" in [tags] {
    elasticsearch {
      hosts => ["http://192.168.8.10:9200"]
      index => "nginx_access-%{+YYYY.MM.dd}"
      manage_template => false
    }
   }
   if "error" in [tags] {
    elasticsearch {
      hosts => ["http://192.168.8.10:9200"]
      index => "nginx_error-%{+YYYY.MM.dd}"
      manage_template => false
    }
   }
}

保存退出

重启logstash:

   /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/redis.conf

文章标签：
检索分析服务 Elasticsearch版
云数据库 Tair（兼容 Redis）
日志服务
应用服务中间件
nginx
NoSQL
Redis
开发工具
相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群，使用DataWorks将MySQL数据同步至Elasticsearch，体验多条件检索效果，简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示，Elasticsearch是最受欢迎的企业搜索引擎，其次是Apache Solr（也是基于Lucene）。 ElasticSearch的实现原理主要分为以下几个步骤： 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词，将其权重和分词结果一并存入数据 当用户搜索数据时候，再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索，具有接近实时的搜索，并支持多租户。
努力买大G
目录
相关文章
余生吟清歌
|
6月前
|
存储 监控 数据可视化
ELK与Fluentd的结合
【6月更文挑战第18天】构建Python分布式日志系统，结合ELK（Elasticsearch、Logstash、Kibana）与Fluentd，用于日志收集、存储和分析。Fluentd作为数据收集器，接收Python应用日志，通过Logstash转发至Elasticsearch索引，Kibana提供可视化界面。流程包括安装配置ELK，配置Fluentd输入输出插件，Python中使用`fluent-logger`发送日志，Kibana查看分析数据。系统可扩展、优化，涉及数据格式化、性能调优、安全性和监控。
余生吟清歌
90 7
ELK与Fluentd的结合
醉鱼Java
|
7月前
|
Java 索引
ELK搭建指南
ELK搭建指南
醉鱼Java
80 0
嘿嘿龙帅
|
应用服务中间件 nginx 索引
elk-1
elk-1
嘿嘿龙帅
61 0
嘿嘿龙帅
|
NoSQL 应用服务中间件 Redis
elk-2
elk-2
嘿嘿龙帅
59 0
秋意零
|
存储 监控 安全
【Elastic Stack-初识篇】 ELK介绍、搭建最新 ELK 日志分析系统
【Elastic Stack-初识篇】 ELK介绍、搭建最新 ELK 日志分析系统
秋意零
1054 0
阿紫1
|
自然语言处理 安全 网络安全
ELK（二）
ELK
阿紫1
284 0
阿紫1
|
Java 编译器 Linux
ELK（三）
ELK
阿紫1
110 0
搞什么滚去学习
|
消息中间件 编解码 监控
ELK日志分析系统（二）
ELK日志分析系统（二）
搞什么滚去学习
242 0
ELK日志分析系统（二）
阿紫1
|
存储 算法 安全
ELK（一）
ELK
阿紫1
134 0
互联网-小阿宇
|
存储 消息中间件 监控
ELK
ELK
互联网-小阿宇
299 0
ELK

热门文章

最新文章

  • 1
    四大触点，教你从“用户视角”构建数据分析体系
  • 2
    Spring-boot+Dubbo应用启停源码分析
  • 3
    《Stata统计分析与应用（第2版）》一3.4 图形的保存、合并及修改
  • 4
    RocketMq-Request-Reply消息
  • 5
    Confluence 6 手动添加用户
  • 6
    2013年4月20日 通用权限管理系统组件V3.8功能改进说明
  • 7
    Configuring EIGRP Unequal-Cost Paths
  • 8
    PowerShell 指定关键词遍历文件内容
  • 9
    Windows时间服务出现故障 向用户发送错误的时间
  • 10
    三种dedecms调用相关文章的方法
  • 1
    《鸿蒙HarmonyOS应用开发从入门到精通（第2版）》简介
    54
  • 2
    《Python 助力：人工智能模型的“瘦身”与“加速”之旅》
    111
  • 3
    《非计算机专业者：Python 开启人工智能职业新航道》
    40
  • 4
    《Python赋能：智绘智慧城市新蓝图》
    43
  • 5
    《智育新篇：点亮学生人工智能伦理与社会责任之光》
    47
  • 6
    《数据主权：人工智能时代的核心基石与挑战》
    33
  • 7
    鸿蒙HarmonyOS应用开发 | 探索 HarmonyOS Next-从开发到实战掌握 HarmonyOS Next 的分布式能力
    110
  • 8
    鸿蒙原生开发环境的创新与性能优化：从工具到跨平台支持的全方位提升
    276
  • 9
    鸿蒙HarmonyOS应用开发 | 「鸿蒙技术分享」HarmonyOS NEXT元服务卡片实战体验
    161
  • 10
    Qwen-Coder：通过Qwen 2.5模型实现智能代码生成的技术实践
    41

    • 相关电子书

    更多
  • ELK介绍
  • 《Elasticsearch全观测解决方案》
  • 低代码开发师（初级）实战教程
    • 下一篇
    DataWorks售前咨询