ELK实时日志分析平台(elk+kafka+metricbeat)-elasticsearch部署(五)

简介:

192.168.30.121,192.168.30.122,192.168.30.123上配置elasticsearch集群:

  1. 在所有主机上添加elk用户

  2. 在所有主机上解压elasticsearch,并更改属主,组:

    wKioL1nJrjLj9hVsAABsNJXjSQ0844.png

    wKiom1nJrnuTHRmpAAASWIu9Lak227.png

  3. 修改192.168.30.121配置文件:

    #cat>elasticsearch/config/elasticsearch.yml<<EOF
    cluster.name: my-es
    node.name: node-1
    path.data: /usr/local/elk/elasticsearch/data
    path.logs: /usr/local/elk/elasticsearch/logs
    bootstrap.memory_lock: false
    network.host: 192.168.30.121
    http.port: 9200
    discovery.zen.ping.unicast.hosts: ["192.168.30.121", "192.168.30.122","192.168.30.123"]
    discovery.zen.minimum_master_nodes: 2
    node.master: true
    node.data: true
    EOF

    wKioL1nJrr-RRb6AAAAY4iF4dBk204.png

    wKioL1nJrsuyFPlrAAAbCptf6nA762.png

    wKiom1nJrxPzr7t4AAAOHw9rXwA501.png

  4. 修改192.168.30.122配置:

    #cat>elasticsearch/config/elasticsearch.yml<<EOF
    cluster.name: my-es
    node.name: node-2
    path.data: /usr/local/elk/elasticsearch/data
    path.logs: /usr/local/elk/elasticsearch/logs
    bootstrap.memory_lock: false
    network.host: 192.168.30.122
    http.port: 9200
    discovery.zen.ping.unicast.hosts: ["192.168.30.121", "192.168.30.122","192.168.30.123"]
    discovery.zen.minimum_master_nodes: 2
    node.master: true
    node.data: true
    EOF
    wKioL1nJr0zzNK70AAAYBzZc-Vo857.png

    wKiom1nJr5bRJGDoAAAbGvdTXMM114.png

    wKioL1nJr2ay1qnhAAAM6YBOglg038.png

  5. 修改192.168.30.123配置:

    #cat>elasticsearch/config/elasticsearch.yml<<EOF
    cluster.name: my-es
    node.name: node-3
    path.data: /usr/local/elk/elasticsearch/data
    path.logs: /usr/local/elk/elasticsearch/logs
    bootstrap.memory_lock: false
    network.host: 192.168.30.123
    http.port: 9200
    discovery.zen.ping.unicast.hosts: ["192.168.30.121", "192.168.30.122","192.168.30.123"]
    discovery.zen.minimum_master_nodes: 2
    node.master: true
    node.data: true
    EOF

    wKiom1nJsCbQTSwEAAA48kj2I30501.png

    启动:

    cd /usr/local/elk/elasticsearch/logs && nohup sudo -u elk  /usr/local/elk/elasticsearch/bin/elasticsearch &

    检查:

    wKiom1nJsGmhjRG_AABLvfdfJNg138.png

  6. 安装head:

    检查依赖包:

    wKiom1nJsOKht48-AAAk6hSKqcA241.png

    安装:

    wKioL1nJsLfT_plLAABLxHyoqdo921.png

    #git clone https://github.com/mobz/elasticsearch-head.git
    cd elasticsearch-head/
    npm config set registry https://registry.npm.taobao.org 
    npm install   #安装较慢,失败可多次执行


    修改vim Gruntfile.js
                    connect: {
                            server: {
                                    options: {
                                            hostname: "192.168.30.121",
                                            port: 9100,
                                            base: '.',
                                            keepalive: true
                                    }
                            }
                    }

            });

  7. 修改app.js:

    [root@k8s-etcd1elasticsearch-head]# vim _site/app.js

    this.base_uri =this.config.base_uri || this.prefs.get("app-base_uri") ||"http://192.168.30.121:9200";

  8. 在所有elasticsearch的配置文件追添以下两行,然后重启elasticsearch:

    http.cors.enabled: true
    http.cors.allow-origin: "*"

  9. 启动head:

    [root@k8s-etcd1 elk]# cdelasticsearch-head/ && nohup grunt server -d &

  10. 检测:

    wKioL1nJscLTX_ivAAEeRnqiLtc012.png


本文转自 zhuxtqw 51CTO博客,原文链接:http://blog.51cto.com/1054054/1968684,如需转载请自行联系原作者
相关文章
|
11月前
|
消息中间件 运维 Kafka
直播预告|Kafka+Flink双引擎实战:手把手带你搭建分布式实时分析平台!
在数字化转型中,企业亟需从海量数据中快速提取价值并转化为业务增长动力。5月15日19:00-21:00,阿里云三位技术专家将讲解Kafka与Flink的强强联合方案,帮助企业零门槛构建分布式实时分析平台。此组合广泛应用于实时风控、用户行为追踪等场景,具备高吞吐、弹性扩缩容及亚秒级响应优势。直播适合初学者、开发者和数据工程师,参与还有机会领取定制好礼!扫描海报二维码或点击链接预约直播:[https://developer.aliyun.com/live/255088](https://developer.aliyun.com/live/255088)
677 35
直播预告|Kafka+Flink双引擎实战:手把手带你搭建分布式实时分析平台!
|
7月前
|
消息中间件 Java Kafka
搭建ELK日志收集,保姆级教程
本文介绍了分布式日志采集的背景及ELK与Kafka的整合应用。传统多服务器环境下,日志查询效率低下,因此需要集中化日志管理。ELK(Elasticsearch、Logstash、Kibana)应运而生,但单独使用ELK在性能上存在瓶颈,故结合Kafka实现高效的日志采集与处理。文章还详细讲解了基于Docker Compose构建ELK+Kafka环境的方法、验证步骤,以及如何在Spring Boot项目中整合ELK+Kafka,并通过Logback配置实现日志的采集与展示。
1221 64
搭建ELK日志收集,保姆级教程
|
11月前
|
消息中间件 运维 Kafka
直播预告|Kafka+Flink 双引擎实战:手把手带你搭建分布式实时分析平台!
直播预告|Kafka+Flink 双引擎实战:手把手带你搭建分布式实时分析平台!
322 11
|
数据可视化 关系型数据库 MySQL
ELK实现nginx、mysql、http的日志可视化实验
通过本文的步骤,你可以成功配置ELK(Elasticsearch, Logstash, Kibana)来实现nginx、mysql和http日志的可视化。通过Kibana,你可以直观地查看和分析日志数据,从而更好地监控和管理系统。希望这些步骤能帮助你在实际项目中有效地利用ELK来处理日志数据。
912 90
|
11月前
|
消息中间件 架构师 Java
美团面试:对比分析 RocketMQ、Kafka、RabbitMQ 三大MQ常见问题?
美团面试:对比分析 RocketMQ、Kafka、RabbitMQ 三大MQ常见问题?
美团面试:对比分析 RocketMQ、Kafka、RabbitMQ 三大MQ常见问题?
|
消息中间件 数据挖掘 Kafka
Apache Kafka流处理实战:构建实时数据分析应用
【10月更文挑战第24天】在当今这个数据爆炸的时代,能够快速准确地处理实时数据变得尤为重要。无论是金融交易监控、网络行为分析还是物联网设备的数据收集,实时数据处理技术都是不可或缺的一部分。Apache Kafka作为一款高性能的消息队列系统,不仅支持传统的消息传递模式,还提供了强大的流处理能力,能够帮助开发者构建高效、可扩展的实时数据分析应用。
1023 5
|
存储 运维 监控
超越传统模型:从零开始构建高效的日志分析平台——基于Elasticsearch的实战指南
【10月更文挑战第8天】随着互联网应用和微服务架构的普及,系统产生的日志数据量日益增长。有效地收集、存储、检索和分析这些日志对于监控系统健康状态、快速定位问题以及优化性能至关重要。Elasticsearch 作为一种分布式的搜索和分析引擎,以其强大的全文检索能力和实时数据分析能力成为日志处理的理想选择。
1132 6
|
11月前
|
JSON 安全 数据可视化
Elasticsearch(es)在Windows系统上的安装与部署(含Kibana)
Kibana 是 Elastic Stack(原 ELK Stack)中的核心数据可视化工具,主要与 Elasticsearch 配合使用,提供强大的数据探索、分析和展示功能。elasticsearch安装在windows上一般是zip文件,解压到对应目录。文件,elasticsearch8.x以上版本是自动开启安全认证的。kibana安装在windows上一般是zip文件,解压到对应目录。elasticsearch的默认端口是9200,访问。默认用户是elastic,密码需要重置。
5704 0
|
存储 运维 监控
金融场景 PB 级大规模日志平台:中信银行信用卡中心从 Elasticsearch 到 Apache Doris 的先进实践
中信银行信用卡中心每日新增日志数据 140 亿条(80TB),全量归档日志量超 40PB,早期基于 Elasticsearch 构建的日志云平台,面临存储成本高、实时写入性能差、文本检索慢以及日志分析能力不足等问题。因此使用 Apache Doris 替换 Elasticsearch,实现资源投入降低 50%、查询速度提升 2~4 倍,同时显著提高了运维效率。
1030 3
金融场景 PB 级大规模日志平台:中信银行信用卡中心从 Elasticsearch 到 Apache Doris 的先进实践
|
存储 监控 安全