借助Beats快速搭建可视化运维系统

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: 本例实现了一个对个人PC的可视化运维dashboard。拓展至N个节点的集群也同理可以实现。对于个人或者企业而言,约等于0成本的对接,将一步迈入可视化运维监控的阶段。

题记:本例实现了一个对个人PC的可视化运维dashboard。拓展至N个节点的集群也同理可以实现。对于个人或者企业而言,约等于0成本的对接,将一步迈入可视化运维监控的阶段。

背景介绍

Beats 平台集合了多种单一用途数据采集器。这些采集器安装后可用作轻量型代理,从成百上千或成千上万台机器向 Logstash 或 Elasticsearch 发送数据。
Metricbeat是一个轻量级的指标采集器,用于从系统和服务收集指标。从 CPU 到内存,从 Redis 到 Nginx,Metricbeat 能够以一种轻量型的方式,输送各种系统和服务统计数据。
这篇文章向用户演示,如何使用Metricbeat采集一台Mac电脑的指标信息,投递到阿里云Elasticsearch(以下统称‘阿里云ES’)上,并且在Kibana中生成对应dashborard。

下载并配置Metricbeat

MAC系统的Metricbeat安装包下载地址

备注:
32位Linux系统的Metricbeat安装包下载地址

64位Linux系统的Metricbeat安装包下载地址
32位Windows系统的Metricbeat安装包下载地址
64位Windows系统的Metricbeat安装包下载地址

下载到本地某一个文件夹后,解压缩,进入Metricbeat文件夹。
undefined

打开并编辑metricbeat.yml中“Elasticsearch output”部分
undefined

提示:阿里云ES提供了用户名、密码的访问控制,username默认是‘elastic’,password为购买ES服务时填写的登陆密码。

配置阿里云ES

为了保证安全,阿里云ES基于VPC(专属网络)部署,将本地MAC中的数据推送给阿里云ES,需要打开公网访问的开关,并配置IP白名单。

登陆阿里云ES控制台,打开公网地址开关
undefined
将自己的MAC IP配置到公网地址访问的白名单中
undefined

提示:如果你使用的是公司网络,WIFI等网络,需要将公网出口的跳板机IP配置进去。如果获取不到,建议配置“0.0.0.1/1,126.0.0.0/1”来开放尽可能多的IP。不过这个配置将导致你的阿里云ES基本上完全暴露在公网中。

配置完成后,获取阿里云ES的公网endpoint
undefined

启动Metricbeat

启动Metricbeat向阿里云ES推送数据

./metricbeat -e -c metricbeat.yml

undefined
打开Metricbeat在Kibana定制dashboard的功能

./metricbeat setup --dashboards

undefined

在Kibana中查看dashboard

undefined
undefined
数据可以定义成5s刷新一次,并且可以生成对应的report,接入webhook对异常进行告警。

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
21小时前
|
机器学习/深度学习 运维 监控
如何构建应用智能运维系统的核心能力
【5月更文挑战第25天】面对日益复杂的信息系统,企业需建立具备全景监控和智能运维能力的 Application Performance Management (APM) 系统,以保障数字化体验和应用可用性。
|
1天前
|
运维 监控 测试技术
构建高效自动化运维系统的策略与实践
【5月更文挑战第24天】随着信息技术的飞速发展,企业对于运维管理的效率和稳定性要求日益增高。传统的手动运维方式已难以满足现代化大规模服务的需求。本文深入探讨构建高效自动化运维系统的关键策略,并结合实践经验,详细阐述如何通过自动化工具和流程改进,实现故障快速响应、缩短恢复时间和提升系统整体可靠性。
|
2天前
|
存储 运维 监控
构建高效可靠的自动化运维系统
【5月更文挑战第23天】 在数字化时代,企业对于IT基础设施的管理和维护日益复杂和挑战性增强。传统的手动运维方式已无法满足快速响应和高效率的需求。因此,构建一个高效且可靠的自动化运维系统成为提升企业IT效能的关键。本文将探讨自动化运维系统的核心组件、实施策略以及面临的安全挑战,旨在为读者提供一条清晰可行的自动化转型路径。
5 0
|
4天前
|
运维 Kubernetes 持续交付
构建高效自动化运维系统:基于容器技术的持续集成与持续部署实践
【5月更文挑战第21天】在现代IT基础设施管理中,自动化运维是提升效率、确保稳定性的关键。文章聚焦于如何利用容器技术实现高效的持续集成(CI)与持续部署(CD),探讨了使用Docker和Kubernetes等工具的最佳实践,并提出了一套完整的自动化运维解决方案。通过此系统,企业可以实现快速、可靠的代码交付流程,同时保障应用的高可用性和弹性。
|
5天前
|
运维 关系型数据库 MySQL
day03-Linux运维-Xshell优化和Linux系统命令入门(2)
day03-Linux运维-Xshell优化和Linux系统命令入门(2)
day03-Linux运维-Xshell优化和Linux系统命令入门(2)
|
5天前
|
运维 Linux Shell
day03-Linux运维-Xshell优化和Linux系统命令入门(1)
day03-Linux运维-Xshell优化和Linux系统命令入门(1)
day03-Linux运维-Xshell优化和Linux系统命令入门(1)
|
5天前
|
运维 Linux Shell
day02-Linux运维-系统介绍与环境搭建_硬件 系统核心 解释器shell 外围操作系统
day02-Linux运维-系统介绍与环境搭建_硬件 系统核心 解释器shell 外围操作系统
|
5天前
|
运维 监控 持续交付
构建高效自动化运维系统:策略与实践
【5月更文挑战第20天】 随着信息技术的飞速发展,传统的IT运维模式已难以满足快速变化的业务需求。本文聚焦于如何构建一个高效的自动化运维系统,旨在探讨自动化运维的最佳实践、工具选择和实施策略。文中不仅阐述了自动化运维的必要性和优势,还提供了详细的架构设计和关键技术点分析,以期帮助企业实现运维效率的最大化。
|
6天前
|
机器学习/深度学习 人工智能 运维
构建高效自动化运维系统:DevOps与AI的融合
【5月更文挑战第19天】 在数字化转型的浪潮中,企业IT运维面临着日益复杂的挑战。传统的手动运维方式已经无法满足快速迭代和高可靠性的需求。本文探讨了如何通过结合DevOps理念和人工智能(AI)技术,构建一个高效的自动化运维系统。文章首先回顾了DevOps的核心原则及其在自动化运维中的应用,接着分析了AI如何增强故障预测、智能决策和自动化流程的能力。最后,提出了一个综合DevOps与AI技术的自动化运维框架,并讨论了其在实际部署中的优势和潜在挑战。
|
7天前
|
机器学习/深度学习 人工智能 运维
构建高效自动化运维系统的五大关键步骤
【5月更文挑战第18天】在数字化转型的浪潮中,高效的自动化运维系统成为企业保障IT服务管理效率和稳定性的核心。本文将探讨构建自动化运维系统的五个关键步骤,包括需求分析、设计蓝图、选择合适的工具、实施与集成以及持续优化。通过这些步骤的实施,企业能够实现故障快速响应、资源优化配置和成本有效控制,从而提升整体的IT服务质量和用户满意度。