借助Beats快速搭建可视化运维系统

本文涉及的产品
Elasticsearch Serverless通用抵扣包,测试体验金 200元
简介: 本例实现了一个对个人PC的可视化运维dashboard。拓展至N个节点的集群也同理可以实现。对于个人或者企业而言,约等于0成本的对接,将一步迈入可视化运维监控的阶段。

题记:本例实现了一个对个人PC的可视化运维dashboard。拓展至N个节点的集群也同理可以实现。对于个人或者企业而言,约等于0成本的对接,将一步迈入可视化运维监控的阶段。

背景介绍

Beats 平台集合了多种单一用途数据采集器。这些采集器安装后可用作轻量型代理,从成百上千或成千上万台机器向 Logstash 或 Elasticsearch 发送数据。
Metricbeat是一个轻量级的指标采集器,用于从系统和服务收集指标。从 CPU 到内存,从 Redis 到 Nginx,Metricbeat 能够以一种轻量型的方式,输送各种系统和服务统计数据。
这篇文章向用户演示,如何使用Metricbeat采集一台Mac电脑的指标信息,投递到阿里云Elasticsearch(以下统称‘阿里云ES’)上,并且在Kibana中生成对应dashborard。

下载并配置Metricbeat

MAC系统的Metricbeat安装包下载地址

备注:
32位Linux系统的Metricbeat安装包下载地址

64位Linux系统的Metricbeat安装包下载地址
32位Windows系统的Metricbeat安装包下载地址
64位Windows系统的Metricbeat安装包下载地址

下载到本地某一个文件夹后,解压缩,进入Metricbeat文件夹。
undefined

打开并编辑metricbeat.yml中“Elasticsearch output”部分
undefined

提示:阿里云ES提供了用户名、密码的访问控制,username默认是‘elastic’,password为购买ES服务时填写的登陆密码。

配置阿里云ES

为了保证安全,阿里云ES基于VPC(专属网络)部署,将本地MAC中的数据推送给阿里云ES,需要打开公网访问的开关,并配置IP白名单。

登陆阿里云ES控制台,打开公网地址开关
undefined
将自己的MAC IP配置到公网地址访问的白名单中
undefined

提示:如果你使用的是公司网络,WIFI等网络,需要将公网出口的跳板机IP配置进去。如果获取不到,建议配置“0.0.0.1/1,126.0.0.0/1”来开放尽可能多的IP。不过这个配置将导致你的阿里云ES基本上完全暴露在公网中。

配置完成后,获取阿里云ES的公网endpoint
undefined

启动Metricbeat

启动Metricbeat向阿里云ES推送数据

./metricbeat -e -c metricbeat.yml

undefined
打开Metricbeat在Kibana定制dashboard的功能

./metricbeat setup --dashboards

undefined

在Kibana中查看dashboard

undefined
undefined
数据可以定义成5s刷新一次,并且可以生成对应的report,接入webhook对异常进行告警。

相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。  
相关文章
|
3月前
|
人工智能 运维 Prometheus
别等系统“炸了”才慌!聊聊AI搞运维故障检测的那些真香时刻
别等系统“炸了”才慌!聊聊AI搞运维故障检测的那些真香时刻
134 0
|
2月前
|
运维 Prometheus 监控
系统崩了怪运维?别闹了,你该问问有没有自动化!
系统崩了怪运维?别闹了,你该问问有没有自动化!
100 9
|
6月前
|
人工智能 运维 自然语言处理
“AI医生”入驻运维现场:聊聊系统健康检查的新姿势
“AI医生”入驻运维现场:聊聊系统健康检查的新姿势
295 78
|
4月前
|
人工智能 运维 监控
HarmonyOS NEXT~鸿蒙系统运维:全面解析与最佳实践
本书《HarmonyOS NEXT~鸿蒙系统运维:全面解析与最佳实践》深入探讨了鸿蒙系统的运维管理。从架构特点到实际操作,涵盖分布式能力、性能优化、安全维护及故障排查。内容包括设备管理、系统监控、安全管理等核心任务,提供常见问题解决方案与工具推荐。面对未来超级终端和AI赋能的挑战,运维人员需不断学习,以充分发挥鸿蒙的分布式优势,为用户带来流畅体验。
199 8
|
4月前
|
机器学习/深度学习 人工智能 运维
运维不靠玄学!用AI预测系统负载,谁用谁说香!
运维不靠玄学!用AI预测系统负载,谁用谁说香!
176 18
|
4月前
|
运维 监控 数据可视化
斩获6.1 star,再见Crontab!这款开源定时任务管理系统让运维更高效
Gocron是一款基于Go语言的轻量级定时任务调度系统,替代传统Linux Crontab。它提供可视化Web界面管理,支持秒级调度、任务依赖配置与多节点执行。核心功能包括:1) 可视化管理;2) 精确调度规则;3) 全链路任务控制;4) 多类型任务支持;5) 完善监控通知。适用于自动化运维、系统监控、数据处理及业务自动化等场景。通过三步快速上手:一键部署、添加任务节点、创建定时任务。相比Crontab和Celery,Gocron更直观高效,适合个人与企业使用。项目地址:https://github.com/ouqiang/gocron。
476 8
|
4月前
|
人工智能 运维 Anolis
|
6月前
|
机器学习/深度学习 人工智能 运维
AI 实时流量分析:运维老司机的“天眼”系统
AI 实时流量分析:运维老司机的“天眼”系统
219 14
|
6月前
|
运维 供应链 前端开发
中小医院云HIS系统源码,系统融合HIS与EMR功能,采用B/S架构与SaaS模式,快速交付并简化运维
这是一套专为中小医院和乡镇卫生院设计的云HIS系统源码,基于云端部署,采用B/S架构与SaaS模式,快速交付并简化运维。系统融合HIS与EMR功能,涵盖门诊挂号、预约管理、一体化电子病历、医生护士工作站、收费财务、药品进销存及统计分析等模块。技术栈包括前端Angular+Nginx,后端Java+Spring系列框架,数据库使用MySQL+MyCat。该系统实现患者管理、医嘱处理、费用结算、药品管控等核心业务全流程数字化,助力医疗机构提升效率和服务质量。
343 4
|
6月前
|
弹性计算 运维 监控
基于进程热点分析与系统资源优化的智能运维实践
智能服务器管理平台提供直观的可视化界面,助力高效操作系统管理。核心功能包括运维监控、智能助手和扩展插件管理,支持系统健康监控、故障诊断等,确保集群稳定运行。首次使用需激活服务并安装管控组件。平台还提供进程热点追踪、性能观测与优化建议,帮助开发人员快速识别和解决性能瓶颈。定期分析和多维度监控可提前预警潜在问题,保障系统长期稳定运行。
229 17