从数据到洞察:在阿里云ECS上搭建ELK实现日志分析与可视化

简介: ELK(Elasticsearch, Logstash, Kibana)是一个强大的开源日志管理解决方案,被广泛用于收集、存储、搜索、分析和可视化大规模的日志数据,本文主要分享了如何在阿里云ECS上搭建ELK实现日志分析与可视化。

一.背景知识

ELK(Elasticsearch, Logstash, Kibana)是一个强大的开源日志管理解决方案,被广泛用于收集、存储、搜索、分析和可视化大规模的日志数据。它由三个核心组件组成,每个组件都有独特的功能和作用。Elasticsearch是一个分布式搜索和分析引擎,用于存储、搜索和分析大量的实时数据。它使用倒排索引来快速查询和检索数据,并提供了强大的全文搜索、聚合和分析功能。Logstash是一个用于收集、处理和转发日志和事件数据的数据管道工具。它可以从各种来源(如日志文件、数据库、消息队列)收集数据,并经过过滤、解析和转换后发送到不同的目标,如Elasticsearch。Kibana是一个基于Web的用户界面,用于可视化和分析存储在Elasticsearch中的数据。它提供了丰富的图表、仪表板和搜索功能,使用户能够轻松地探索和理解数据。ELK组件的结合使得用户能够高效地收集、存储、搜索、分析和可视化大规模的日志数据,对于监控系统、故障排除、安全分析等领域非常有用。它也支持扩展和集成其他工具和插件,以满足不同的需求和场景。


二.环境配置

  • 服务器:阿里云ECS服务器
  • 操作系统版本:Centos 7

三.搭建步骤

1.安装依赖环境

(1)Elasticsearch对于JAVA JDK环境有要求,需要JDK1.8或以上的支持。我们执行如下命令来安装JAVA JDK环境。

yum -y install java-1.8.0-openjdk  java-1.8.0-openjdk -devel

图片.png

(2)执行如下命令来设置java主页

cat <<EOF | sudotee /etc/profile.d/
exportJAVA_HOME=/usr/lib/jvm/jre-openjdk
exportPATH=\$PATH:\$JAVA_HOME/bin
exportCLASSPATH=.:\$JAVA_HOME/jre/lib:\$JAVA_HOME/lib:\$JAVA_HOME/lib/tools.jar
EOF

图片.png

(3)配置完之后,执行如下命令来刷新配置文件,随后执行"java -version"来查看jdk版本。

source /etc/profile.d/java8.sh


图片.png

(4)执行如下命令来关闭防火墙

systemctl stop firewalld""systemctl disable firewalld

图片.png

(5)执行命令将如下内容输入添加到elasticsearch.repo中

cat <<EOF | tee /etc/yum.repos.d/elasticsearch.repo

图片.png

(6)执行如下命令来引入GPG key

rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

接着执行"yum clean all" "yum makecache"更新yum包。

图片.png


2.安装Elasticsearch应用

(1)执行"rpm -ivh elasticsearch-7.2.0-x86_64.rpm"命令来安装Elasticsearch

图片.png

(2)安装后,执行如下命令来确认Elasticsearch的安装信息

rpm -qi elasticsearch"

图片.png

(3)随后执行如下命令来启动Elasticsearch,并执行"systemctl start elasticsearch""",来设置开机自启动。

systemctl daemon-reload
systemctl start elasticsearch
systemctl enable elasticsearch

图片.png

(4) 执行"systemctl status elasticsearch"查看elasticsearch运行状态。

图片.png

(5)执行"curl localhost:9200"尝试请求9200端口允不允许访问

图片.png

当前只能相应本机的请求,其他机器想要访问的话需要修改elasticsearch的配置,执行"vim /etc/elasticsearch/elasticsearch.yml"修改如下配置,一定要把修改内容的注释取消!!

cluster.name: my-applicat
ionnode.name: master
network.host: 0.0.0.0
ttp.port: 9200cluster.initial_master_nodes: ["master", "node-2"]

图片.png

执行"systemctl stop elasticsearch""systemctl start elasticsearch"重启elasticsearch使其修改内容生效

图片.png

使用命令"netstat -nlpt"列出当前的有效连接,监听服务状态,建立相关链接得名字,tcp相关的选项。如果显示:::9200就可以通过外部浏览器去访问了。

图片.png

图片.png

3.安装Kibana应用

(1) .执行"yum install -y kibana"来进行kibana安装。

图片.png

(2). 执行"rpm -qi kibana"查看安装信息

图片.png

(3)执行"systemctl start kibana""systemctl enable kibana"设置开机自启动。

图片.png

(4)执行"systemctl status kibana"查看kibana运行状态

图片.png

(5)执行"curl localhost:5601 -L"测试访问

图片.png

(6)执行"vim /etc/kibana/kibana.yml"配置允许其他机器访问,修改以下配置。

server.port: 5601server.host: "0.0.0.0"elasticsearch.hosts: ["http://localhost:9200"]

图片.png

图片.png

(7)  执行"systemctl stop kibana""systemctl start kibana"进行重启使其生效

图片.png

(8)执行"netstat -nlpt"和安装Elasticsearch一样,发现出现0.0.0.0:5601说明可以从外部浏览器访问Kibana服务。

图片.png

图片.png


4.安装Logstash应用

(1)执行"yum install -y logstash"安装Logstash,如下图所示。

图片.png


(2)执行"rpm -qi logstash"确实logstash已安装,如下图所示。

图片.png

(3) 执行"systemctl start logstash"启动logstash,执行"systemctl status logstash"查看logstash运行状态

图片.png

相关实践学习
通义万相文本绘图与人像美化
本解决方案展示了如何利用自研的通义万相AIGC技术在Web服务中实现先进的图像生成。
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情:&nbsp;https://www.aliyun.com/product/ecs
相关文章
|
11月前
|
弹性计算 运维 安全
阿里云轻量应用服务器与云服务器ECS啥区别?新手帮助教程
阿里云轻量应用服务器适合个人开发者搭建博客、测试环境等低流量场景,操作简单、成本低;ECS适用于企业级高负载业务,功能强大、灵活可扩展。二者在性能、网络、镜像及运维管理上差异显著,用户应根据实际需求选择。
917 10
|
11月前
|
弹性计算 ice
阿里云4核8g服务器多少钱一年?1个月和1小时价格,省钱购买方法分享
阿里云4核8G服务器价格因实例类型而异,经济型e实例约159元/月,计算型c9i约371元/月,按小时计费最低0.45元。实际购买享折扣,1年最高可省至1578元,附主流ECS实例及CPU型号参考。
928 8
|
11月前
|
运维 安全 Ubuntu
阿里云渠道商:服务器操作系统怎么选?
阿里云提供丰富操作系统镜像,涵盖Windows与主流Linux发行版。选型需综合技术兼容性、运维成本、安全稳定等因素。推荐Alibaba Cloud Linux、Ubuntu等用于Web与容器场景,Windows Server支撑.NET应用。建议优先选用LTS版本并进行测试验证,通过标准化镜像管理提升部署效率与一致性。
|
11月前
|
存储 监控 安全
阿里云渠道商:云服务器价格有什么变动?
阿里云带宽与存储费用呈基础资源降价、增值服务差异化趋势。企业应结合业务特点,通过阶梯计价、智能分层、弹性带宽等策略优化成本,借助云监控与预算预警机制,实现高效、可控的云资源管理。
|
11月前
|
弹性计算 运维 安全
区别及选择指南:阿里云轻量应用服务器与ECS云服务器有什么区别?
阿里云轻量应用服务器适合个人开发者、学生搭建博客、测试环境,易用且性价比高;ECS功能更强大,适合企业级应用如大数据、高流量网站。根据需求选择:轻量入门首选,ECS专业之选。
722 2
|
11月前
|
弹性计算 ice
阿里云4核8G云服务器配置价格:热门ECS实例及CPU处理器型号说明
阿里云2025年4核8G服务器配置价格汇总,涵盖经济型e实例、计算型c9i等热门ECS实例,CPU含Intel Xeon及AMD EPYC系列,月费159元起,年付低至1578元,按小时计费0.45元起,实际购买享折扣优惠。
3975 1
|
11月前
|
存储 弹性计算 安全
阿里云渠道商:新手如何选择阿里云ECS实例?
阿里云ECS凭借弹性扩展、稳定可靠与安全防护,助力企业高效上云。本文系统解析实例规格选择关键因素:业务场景匹配、性能评估、成本优化、地域部署与扩展规划,结合计费模式与实际需求,提供科学选型建议,助您精准匹配资源,提升云上效能。(238字)
|
11月前
|
存储 弹性计算 安全
阿里云渠道商:新手怎么选阿里云ECS实例规格?
本文深入解析阿里云ECS的弹性、稳定与安全优势,详解实例规格选择的关键因素,涵盖应用场景、性能需求、成本预算、地理位置与扩展性,助力用户精准选型,优化业务部署与成本效益。
|
12月前
|
SQL 人工智能 监控
SLS Copilot 实践:基于 SLS 灵活构建 LLM 应用的数据基础设施
本文将分享我们在构建 SLS SQL Copilot 过程中的工程实践,展示如何基于阿里云 SLS 打造一套完整的 LLM 应用数据基础设施。
3398 116

热门文章

最新文章