使用阿里云Elasticsearch快速搭建可观测系统
1. 创建资源
开始实验之前,您需要先创建Elasticsearch集群资源。
- 在实验室页面,单击创建资源。
- (可选)在实验室页面左侧导航栏中,单击云产品资源列表,可查看本次实验资源相关信息(例如IP地址、用户信息等)。
说明:Elasticsearch集群资源创建过程需要30分钟,请您耐心等待。
2. 登录集群
- 双击打开远程桌面的Chromium网页浏览器。
- 在RAM用户登录框中单击下一步,并复制粘贴页面左上角的子用户密码到用户密码输入框,单击登录。
- 复制下方地址,在Chromium网页浏览器打开新页签,粘贴并访问Elasticsearch控制台。
https://elasticsearch-cn-hangzhou.console.aliyun.com
- 在左侧导航栏中,单击Elasticsearch实例。
- 在Elasticsearch实例页面,在华东1(杭州)地域,找到云产品资源列表中的Elasticsearch实例。
说明:本实验资源区域限定为华东1(杭州),
说明: 本次实验已开通阿里云Elasticsearh6.8版本,仅做本次场景体验使用,如需作为测试环境或生产环境使用,可选择其他更高版本。
3. 登录Kibana,开启自动创建索引功能
- 在Elasticsearch实例页面,单击实例ID。
说明:请选择云起实验室为您提供的Elasticsearch实例资源。
- 在左侧导航栏,选择配置与管理>可视化控制。
- 在Kibana区域中,单击公网入口。
- 复制左侧云产品资源列表下的Elasticsearch登录名和Elasticsearch登录密码,至Kibana登录页面的账号和密码,单击登录。
- 在左侧导航栏,单击Dev Tools(开发工具),再单击Go to work。
- 在Console页签下,执行如下命令,开启阿里云ES实例的自动创建索引功能。
PUT _cluster/settings { "persistent": { "action.auto_create_index": "true" } }
开启成功后,返回结果如下。
{ "acknowledged" : true, "persistent" : { "action" : { "auto_create_index" : "true" } }, "transient" : { } }
4. 使用Metricbeat采集ECS上的系统数据
- 返回阿里云Elasticsearch管理控制台,选择Beats数据采集>创建采集器。
- 在创建采集器对话框中,单击Metricbeat。
- 在确定服务授权对话框中,单击确认,授权创建服务关联角色。
说明:若没有弹出确定服务授权对话框,您可忽略此步骤。
- 在采集器配置向导中,输入或选择采集器信息,复制左侧云产品资源列表下的Elasticsearch登录名和Elasticsearch登录密码,至用户名密码。
- 在metricbeat.yml中末尾添加如下脚本,单击下一步。
metricbeat.modules: - module: system metricsets: - cpu - load - memory - network - process - process_summary - uptime - socket_summary - core - diskio - filesystem - fsstat enabled: true period: 10s processes: ['.*'] cpu.metrics: ["percentages"] core.metrics: ["percentages"]
- 启动采集器并查看采集器安装情况,此生效过程需等待3~5分钟。
- 单击启动。启动成功后,系统弹出启动成功对话框。
- 单击前往采集中心查看,在采集器管理区域中,查看启动成功的Metricbeat采集器,等待采集器状态变为已生效1/1。
- 返回Kibana页面,在左侧导航栏,单击Dev Tools(开发工具)。
- 在Console页签下,执行如下命令,查看索引。
GET _cat/indices?v
索引创建成功后,结果如下。
- 在左侧导航栏,单击Dashboard,搜索[Metricbeat System] Overview。
- 单击进入[Metricbeat System] Overview页面,再单击Host Overview,可查看监控仪表板。
5. 使用Filebeat采集ECS上的Nginx服务数据
- 返回阿里云Elasticsearch管理控制台 > Beats数据采集中心。
- 在创建采集器区域,将鼠标移至Filebeat上,单击ECS日志。
- 在采集器配置向导中,输入或选择采集器信息。完成后,单击下一步。
在填写Filebeat文件目录处,填写如下路径:
/var/log/nginx/
- 在filebeat.yml中更改如下脚本。
在第24行enabled更改为true。
在第28行更改paths:
- /var/log/nginx/*.log
- 启动采集器并查看采集器安装情况,此生效过程需等待3~5分钟。
- 单击启动。启动成功后,系统弹出启动成功对话框。
- 单击前往采集中心查看,在采集器管理区域中,查看启动成功的Metricbeat采集器,等待采集器状态变为已生效1/1。
- 返回Kibana页面,在左侧导航栏,单击Dev Tools(开发工具)。
- 在Console页签下,执行如下命令,查看索引。
GET _cat/indices?v
索引创建成功后,结果如下。
- 在左侧导航栏,单击Discover,点击选择filebeat,可查看采集的数据详情。
- 如出现数据无法展示,可在右上角选择“Last 24 hours ” 即可查看采集的数据详情。
6. 更多技术交流咨询,欢迎扫码入群
扫码入群,参与Elasticsearch技术交流
实验链接:https://developer.aliyun.com/adc/scenario/18d723b856564fcbafb365d121804588