从数据到洞察:在阿里云ECS上搭建ELK实现日志分析与可视化

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
云服务器 ECS,每月免费额度200元 3个月
云服务器ECS,u1 2核4GB 1个月
简介: ELK(Elasticsearch, Logstash, Kibana)是一个强大的开源日志管理解决方案,被广泛用于收集、存储、搜索、分析和可视化大规模的日志数据,本文主要分享了如何在阿里云ECS上搭建ELK实现日志分析与可视化。

一.背景知识

ELK(Elasticsearch, Logstash, Kibana)是一个强大的开源日志管理解决方案,被广泛用于收集、存储、搜索、分析和可视化大规模的日志数据。它由三个核心组件组成,每个组件都有独特的功能和作用。Elasticsearch是一个分布式搜索和分析引擎,用于存储、搜索和分析大量的实时数据。它使用倒排索引来快速查询和检索数据,并提供了强大的全文搜索、聚合和分析功能。Logstash是一个用于收集、处理和转发日志和事件数据的数据管道工具。它可以从各种来源(如日志文件、数据库、消息队列)收集数据,并经过过滤、解析和转换后发送到不同的目标,如Elasticsearch。Kibana是一个基于Web的用户界面,用于可视化和分析存储在Elasticsearch中的数据。它提供了丰富的图表、仪表板和搜索功能,使用户能够轻松地探索和理解数据。ELK组件的结合使得用户能够高效地收集、存储、搜索、分析和可视化大规模的日志数据,对于监控系统、故障排除、安全分析等领域非常有用。它也支持扩展和集成其他工具和插件,以满足不同的需求和场景。


二.环境配置

  • 服务器:阿里云ECS服务器
  • 操作系统版本:Centos 7

三.搭建步骤

1.安装依赖环境

(1)Elasticsearch对于JAVA JDK环境有要求,需要JDK1.8或以上的支持。我们执行如下命令来安装JAVA JDK环境。

yum -y install java-1.8.0-openjdk  java-1.8.0-openjdk -devel

图片.png

(2)执行如下命令来设置java主页

cat <<EOF | sudotee /etc/profile.d/
exportJAVA_HOME=/usr/lib/jvm/jre-openjdk
exportPATH=\$PATH:\$JAVA_HOME/bin
exportCLASSPATH=.:\$JAVA_HOME/jre/lib:\$JAVA_HOME/lib:\$JAVA_HOME/lib/tools.jar
EOF

图片.png

(3)配置完之后,执行如下命令来刷新配置文件,随后执行"java -version"来查看jdk版本。

source /etc/profile.d/java8.sh


图片.png

(4)执行如下命令来关闭防火墙

systemctl stop firewalld""systemctl disable firewalld

图片.png

(5)执行命令将如下内容输入添加到elasticsearch.repo中

cat <<EOF | tee /etc/yum.repos.d/elasticsearch.repo

图片.png

(6)执行如下命令来引入GPG key

rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

接着执行"yum clean all" "yum makecache"更新yum包。

图片.png


2.安装Elasticsearch应用

(1)执行"rpm -ivh elasticsearch-7.2.0-x86_64.rpm"命令来安装Elasticsearch

图片.png

(2)安装后,执行如下命令来确认Elasticsearch的安装信息

rpm -qi elasticsearch"

图片.png

(3)随后执行如下命令来启动Elasticsearch,并执行"systemctl start elasticsearch""",来设置开机自启动。

systemctl daemon-reload
systemctl start elasticsearch
systemctl enable elasticsearch

图片.png

(4) 执行"systemctl status elasticsearch"查看elasticsearch运行状态。

图片.png

(5)执行"curl localhost:9200"尝试请求9200端口允不允许访问

图片.png

当前只能相应本机的请求,其他机器想要访问的话需要修改elasticsearch的配置,执行"vim /etc/elasticsearch/elasticsearch.yml"修改如下配置,一定要把修改内容的注释取消!!

cluster.name: my-applicat
ionnode.name: master
network.host: 0.0.0.0
ttp.port: 9200cluster.initial_master_nodes: ["master", "node-2"]

图片.png

执行"systemctl stop elasticsearch""systemctl start elasticsearch"重启elasticsearch使其修改内容生效

图片.png

使用命令"netstat -nlpt"列出当前的有效连接,监听服务状态,建立相关链接得名字,tcp相关的选项。如果显示:::9200就可以通过外部浏览器去访问了。

图片.png

图片.png

3.安装Kibana应用

(1) .执行"yum install -y kibana"来进行kibana安装。

图片.png

(2). 执行"rpm -qi kibana"查看安装信息

图片.png

(3)执行"systemctl start kibana""systemctl enable kibana"设置开机自启动。

图片.png

(4)执行"systemctl status kibana"查看kibana运行状态

图片.png

(5)执行"curl localhost:5601 -L"测试访问

图片.png

(6)执行"vim /etc/kibana/kibana.yml"配置允许其他机器访问,修改以下配置。

server.port: 5601server.host: "0.0.0.0"elasticsearch.hosts: ["http://localhost:9200"]

图片.png

图片.png

(7)  执行"systemctl stop kibana""systemctl start kibana"进行重启使其生效

图片.png

(8)执行"netstat -nlpt"和安装Elasticsearch一样,发现出现0.0.0.0:5601说明可以从外部浏览器访问Kibana服务。

图片.png

图片.png


4.安装Logstash应用

(1)执行"yum install -y logstash"安装Logstash,如下图所示。

图片.png


(2)执行"rpm -qi logstash"确实logstash已安装,如下图所示。

图片.png

(3) 执行"systemctl start logstash"启动logstash,执行"systemctl status logstash"查看logstash运行状态

图片.png

相关实践学习
一小时快速掌握 SQL 语法
本实验带您学习SQL的基础语法,快速入门SQL。
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情:&nbsp;https://www.aliyun.com/product/ecs
相关文章
|
3天前
|
存储 人工智能 数据管理
【云故事探索】基于阿里云助力地理产业2.0落地,实现遥感数据智能化管理
中国某遥感数据服务中心借助阿里云ECS、GPU和OSS服务,成功实现了地理信息产业升级。此前,中心面临数据管理混乱、服务响应慢等问题。通过阿里云的解决方案,构建了全生命周期管理的遥感数据平台,强化了自动化、智能化的数据生产能力,提升了数据服务的准确性和及时性。此外,平台还增强了数据共享,扩大了应用范围。未来,中心计划结合AI技术,探索地理信息3.0时代,利用阿里云的人工智能平台进一步提升数据管理和应用能力。
47 1
|
1天前
|
存储 弹性计算 监控
【阿里云弹性计算】阿里云 ECS 性能优化秘籍:提升应用响应速度与资源利用率
【5月更文挑战第22天】阿里云ECS优化涉及实例规格选择、OS与应用配置、网络配置、存储优化及数据库连接池管理。合理挑选CPU和内存,关闭无关服务,利用EIP和负载均衡优化网络,选择合适存储类型,并通过监控工具进行性能分析和压力测试,以提升响应速度,优化资源利用率,降低成本,增强企业竞争力。示例展示了Java数据库连接池配置优化。通过持续探索和实践,可最大化发挥ECS潜力。
51 7
|
1天前
|
弹性计算 监控 负载均衡
【阿里云弹性计算】ECS实例迁移实战:无缝迁移到阿里云的步骤与技巧
【5月更文挑战第22天】阿里云ECS实例迁移实战详解,涵盖无缝迁移步骤与技巧:选择合适迁移方案,如VPC或使用阿里云工具;创建目标环境,数据迁移及配置同步;测试验证功能正常,流量切换;选择低峰期,保证数据一致,实时监控,提升迁移成功率。本文为云平台迁移提供实用指南。
29 2
|
1天前
|
弹性计算 安全 Shell
【阿里云弹性计算】阿里云ECS安全加固:从访问控制到数据保护的全方位策略
【5月更文挑战第22天】本文详述了阿里云ECS的安全加固策略,包括访问控制(如安全组设置和密钥对管理)、系统安全加固(如安全补丁更新和防病毒措施)以及数据保护(如数据备份、恢复和加密)。通过这些措施,用户可增强ECS安全性,保障业务安全稳定运行。
29 0
|
2天前
|
弹性计算 关系型数据库 MySQL
【阿里云弹性计算】从零搭建:基于阿里云ECS的高性能Web服务部署实践
【5月更文挑战第21天】本文介绍了如何使用阿里云ECS搭建高性能Web服务。首先,注册阿里云账号购买ECS实例,选择合适配置。接着,通过SSH连接实例,更新系统并安装Apache、PHP和MySQL。创建网站目录,上传代码,配置数据库和PHP。然后,启用Gzip压缩和KeepAlive,调整Apache并发连接数以优化性能。此教程为在阿里云上构建高效Web服务提供了基础指南。
87 5
|
2天前
|
弹性计算 Kubernetes Cloud Native
【阿里云弹性计算】阿里云ECS与容器技术融合:打造敏捷的云原生基础设施
【5月更文挑战第21天】阿里云ECS结合容器技术(如Docker和Kubernetes),助力企业构建敏捷云原生基础设施。ECS提供高性能服务器,支持容器快速部署和自动化管理,实现应用的高可用性和可维护性。通过二者协同,企业能打造高效、可扩展的应用,加速数字化转型。示例代码展示了在ECS上使用Docker和Kubernetes部署云原生应用的过程。
34 3
|
2天前
|
存储 弹性计算 监控
【阿里云弹性计算】成本优化实战:利用阿里云 ECS 抢占式实例节省云支出
【5月更文挑战第21天】阿里云ECS的抢占式实例提供了一种成本优化策略,适合对中断容忍度较高的业务。通过创建和管理抢占式实例,结合API查询价格信息,企业能节省大量成本。使用时注意业务容错性,设置监控系统应对中断,结合其他成本优化措施,如存储类型选择和网络配置优化。确保业务可恢复性,关注阿里云政策,并根据业务变化调整策略,以实现成本与效益的最佳平衡。
42 3
|
3天前
|
弹性计算
阿里云ECS的使用心得
本文主要讲述了我是如何了解到ECS,使用ECS的一些经验,以及自己的感悟心得
|
3天前
|
存储 弹性计算 数据库
阿里云oss备份网站数据的详细步骤
该教程指导如何使用阿里云OSS备份网站数据。首先,注册阿里云账号并购买40GB的OSS存储空间。创建Bucket,选择与服务器相同的区域和私有权限。安装阿里云OSS插件,获取AccessKey信息。在宝塔面板中设置计划任务进行网站或数据库备份,选择内网域名以节省流量。备份完成后,通过文件管理器检查OSS中是否有备份文件。下载备份文件需点击文件名,然后打开文件URL。

热门文章

最新文章