window系统下安装elk

本文涉及的产品
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
实时数仓Hologres,5000CU*H 100GB 3个月
实时计算 Flink 版,1000CU*H 3个月
简介: 本文介绍了Elasticsearch、Logstash和Kibana(统称ELK栈)8.17.3版本的安装与配置流程。主要内容包括:- **Elasticsearch**:详细描述了从下载到启动服务的步骤,以及`elasticsearch.yml`的关键配置项,并提供了Postman操作示例及常见问题解决方案。- **Logstash**:涵盖了插件安装、配置文件`logstash.conf`编写及其启动命令。- **Kibana**:讲解了下载、配置`kibana.yml`和启动过程,确保与Elasticsearch正确连接。

Elasticsearch、logstash、kibana 都为8.17.3版本

Elasticsearch

安装流程

# 下载 https://www.elastic.co/cn/downloads/elasticsearch#ga-release
elasticsearch-8.17.3-windows-x86_64
# 解压配置 elasticsearch.yml,下个代码块
# bin目录下双击下述文件,启动 E:\eslaw\elasticsearch\bin
elasticsearch.bat
# 后台运行:安装 启动 停止 删除es服务
elasticsearch-service.bat install
elasticsearch-service.bat start
sc stop Elasticsearch
sc delete Elasticsearch
# 设置密码
elasticsearch-setup-passwords auto
elasticsearch-keystore list
# 没找到再重新生成一个
elasticsearch-reset-password -u elastic
# 安装分词器
elasticsearch-plugin install https://get.infini.cloud/elasticsearch/analysis-ik/8.17.3

elasticsearch.yml

# 设置集群名称
cluster.name: my-cluster
# 设置节点名称
node.name: node-1
# 设置数据存储路径
path.data: E:\eslaw\esdata
# 设置日志存储路径
path.logs: E:\eslaw\eslog
# 设置监听地址
network.host: 0.0.0.0
# 设置服务端口
http.port: 9200

postman操作es

# postman创建索引 put https://localhost:9200/judgment_books
# basic auth下配置用户名和密码 raw/json
# body中填写
{
  "settings": {
    "analysis": {
      "analyzer": {
        "ik_analyzer": {
          "type": "custom",
          "tokenizer": "ik_max_word"
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "原始链接": { "type": "keyword" },
    }
  }
}
# 删除索引
delete https://localhost:9200/judgment_books
# 只删除数据,不删除索引,请求体 
POST https://localhost:9200/judgment_books/_delete_by_query
{
  "query": {
    "match_all": {}
  }
}
# 查询索引
get https://localhost:9200/judgment_books/_search
{
  "query": {
    "match_all": {}
  }
}

问题解决

solver

问题:

postman Could not get response SSL Error: Self signed certificate in certificate chain

解决:

进入File > Settings (或直接按Ctrl + ,)。

在General标签下找到SSL certificate verification选项,并将其关闭(设置为OFF)

logstash

安装流程

# 下载解压  https://www.elastic.co/downloads/logstash
logstash-8.17.3-windows-x86_64
# 安装必要的插件
logstash-plugin install logstash-input-file
logstash-plugin install logstash-filter-csv
logstash-plugin install logstash-filter-mutate
配置logstash.conf
启动
logstash -f E:\eslaw\logstash\config\logstash.conf
logstash.bat中调整堆内存
if not defined LS_JAVA_OPTS (
    set LS_JAVA_OPTS=-Xms4g -Xmx4g
)
set JAVA_OPTS=%LS_JAVA_OPTS% %JAVA_OPTS%

logstash.conf

input {
    file {
  
        path => "E:/eslaw/test/test.csv"  
        start_position => "beginning"         
        sincedb_path => "NUL"                
        codec => plain {
            charset => "UTF-8"                
        }
    discover_interval => 15 
        file_chunk_size => 131072 
        file_chunk_count => 32768 
    exit_after_read => false 
        mode => "read" 
    }
}
output {
    elasticsearch {
        hosts => ["https://localhost:9200"]  
        index => "judgment_books"           
    user => "elastic"
    password => "xx-"
    ssl => true
    ssl_certificate_verification => false
    }
    stdout {
        codec => json_lines
    }
}

kibana

安装流程

# 下载解压 https://www.elastic.co/cn/downloads/kibana
kibana 8.17.3
# 配置 config\kibana.yml
# 默认不能用elastic账号,需要单独创建一个
# \bin>elasticsearch-service-tokens create elastic/kibana my-kibana-token 会返回一个token
SERVICE_TOKEN elastic/kibana/my-kibana-token = AAEAAWVsYXN0aW
# 启动Kibana
.\bin\kibana

kibana.yml

elasticsearch.hosts: ["https://localhost:9200"]
elasticsearch.ssl.verificationMode: none
server.host: "0.0.0.0" 
server.port: 5601
elasticsearch.serviceAccountToken: "xx"
相关文章
|
存储 监控 数据可视化
小白带你学习linux的ELK日志收集系统
小白带你学习linux的ELK日志收集系统
488 0
|
Web App开发 监控 NoSQL
ELK日志分析系统部署文档 1
ELK日志分析系统部署文档
229 0
|
存储 监控 安全
ELK7.x日志系统搭建 1. elk基础搭建
ELK7.x日志系统搭建 1. elk基础搭建
267 0
|
消息中间件 数据可视化 关系型数据库
ELK7.x日志系统搭建 4. 结合kafka集群完成日志系统
ELK7.x日志系统搭建 4. 结合kafka集群完成日志系统
275 0
|
运维 监控 Ubuntu
一键启动日志魔法:揭秘ELK自动安装脚本的神秘面纱!
【8月更文挑战第9天】在数据驱动时代,高效处理日志至关重要。ELK Stack(Elasticsearch、Logstash、Kibana)是强大的日志分析工具,但其复杂的安装配置常让初学者望而却步。本文介绍如何编写ELK自动安装脚本,简化部署流程。脚本适用于Ubuntu系统,自动完成ELK下载、安装及基本配置,包括依赖项安装、服务启动及自启设置,极大降低了使用门槛,助力运维人员和开发者轻松构建日志分析平台。
382 6
|
存储 消息中间件 监控
Java日志详解:日志级别,优先级、配置文件、常见日志管理系统ELK、日志收集分析
Java日志详解:日志级别,优先级、配置文件、常见日志管理系统、日志收集分析。日志级别从小到大的关系(优先级从低到高): ALL < TRACE < DEBUG < INFO < WARN < ERROR < FATAL < OFF 低级别的会输出高级别的信息,高级别的不会输出低级别的信息
|
Linux Docker 容器
Docker 安装 ELK,EFK代替
Docker 安装 ELK,EFK代替
134 0
|
Docker 容器
Docker 安装 ELK
Docker 安装 ELK
171 0
|
存储 编解码 监控
实验模拟 搭建elk 日志分析系统
实验模拟 搭建elk 日志分析系统