题记:本例实现了一个对个人PC的可视化运维dashboard。拓展至N个节点的集群也同理可以实现。对于个人或者企业而言,约等于0成本的对接,将一步迈入可视化运维监控的阶段。
背景介绍
Beats 平台集合了多种单一用途数据采集器。这些采集器安装后可用作轻量型代理,从成百上千或成千上万台机器向 Logstash 或 Elasticsearch 发送数据。
Metricbeat是一个轻量级的指标采集器,用于从系统和服务收集指标。从 CPU 到内存,从 Redis 到 Nginx,Metricbeat 能够以一种轻量型的方式,输送各种系统和服务统计数据。
这篇文章向用户演示,如何使用Metricbeat采集一台Mac电脑的指标信息,投递到阿里云Elasticsearch(以下统称‘阿里云ES’)上,并且在Kibana中生成对应dashborard。
下载并配置Metricbeat
MAC系统的Metricbeat安装包下载地址
备注:
32位Linux系统的Metricbeat安装包下载地址
64位Linux系统的Metricbeat安装包下载地址
32位Windows系统的Metricbeat安装包下载地址
64位Windows系统的Metricbeat安装包下载地址
下载到本地某一个文件夹后,解压缩,进入Metricbeat文件夹。
打开并编辑metricbeat.yml中“Elasticsearch output”部分
提示:阿里云ES提供了用户名、密码的访问控制,username默认是‘elastic’,password为购买ES服务时填写的登陆密码。
配置阿里云ES
为了保证安全,阿里云ES基于VPC(专属网络)部署,将本地MAC中的数据推送给阿里云ES,需要打开公网访问的开关,并配置IP白名单。
登陆阿里云ES控制台,打开公网地址开关
将自己的MAC IP配置到公网地址访问的白名单中
提示:如果你使用的是公司网络,WIFI等网络,需要将公网出口的跳板机IP配置进去。如果获取不到,建议配置“0.0.0.1/1,126.0.0.0/1”来开放尽可能多的IP。不过这个配置将导致你的阿里云ES基本上完全暴露在公网中。
配置完成后,获取阿里云ES的公网endpoint
启动Metricbeat
启动Metricbeat向阿里云ES推送数据
./metricbeat -e -c metricbeat.yml
打开Metricbeat在Kibana定制dashboard的功能
./metricbeat setup --dashboards
在Kibana中查看dashboard
数据可以定义成5s刷新一次,并且可以生成对应的report,接入webhook对异常进行告警。