基于EMR离线数据分析
一、登录集群
- 进入E-MapReduce控制台，选择对应的集群，在主机信息中复制公网IP，打开LxShell。
- 使用ssh命令登录。
二、上传数据到HDFS
- 执行如下命令，创建HDFS目录。
hdfs dfs -mkdir -p /data/student
- 上传文件到hadoop文件系统。
三、使用hive创建表
- 使用hive命令登录hive数据库。
- 使用SQL语句创建表。
- 执行如下命令，从hadoop文件系统加载数据到hive数据表。
LOAD DATA INPATH '/data/student/u.txt' INTO TABLE emrusers;
四、对表进行操作
使用SQL语句操作即可。
使用阿里云Elasticsearch快速搭建智能运维系统
一、登录Kibana，开启自动创建索引功能
- 在Elasticsearch控制台实例列表中，进入对应实例。
- 在“可视化控制”的Kibana中，开启私网访问。
- 从公网入口进入Kibana，使用Elasticsearch登录名和密码登录。
- 登录成功后，在Dev Tools单击Go to work。
- 执行以下命令，开启ES实例的自动创建所以功能。
PUT _cluster/settings
{
"persistent": {
"action.auto_create_index": "true"
}
}
二、使用Metricbeat采集ECS上的系统数据
- 回到控制台，单击Beats数据采集 > 创建采集器 > Metricbeat。
- 用户名和密码使用资源中提供的Elasticsearch登录名和Elasticsearch登录密码。
- 勾选启用Monitoring和Kibana Dashboard。
- 在metricbeat.yml末尾添加如下脚本：
metricbeat.modules:
- module: system
metricsets:
- cpu
- load
- memory
- network
- process
- process_summary
- uptime
- socket_summary
- core
- diskio
- filesystem
- fsstat
enabled: true
period: 10s
processes: ['.*']
cpu.metrics: ["percentages"]
core.metrics: ["percentages"]
- 点击下一步，采集器选择场景中的ECS实例，点击启动，然后等待采集器生效。
- 回到Kibana页面，在Dev Tools中执行以下命令，查看索引。
GET _cat/indices?v
- 在Dashboard中，进入[Metricbeat System] Overview页面，再单击Host Overview，可查看监控仪表板。
三、使用Filebeat采集ECS上的Nginx服务数据
- 回到Beats数据采集中心，选择Filebeat-ECS日志，开始创建采集器。
- 填写Filebeat文件目录输入以下路径：
/var/log/nginx/
- 修改filebeat.yml文件。
- 完成采集器的创建，并回到Kibana页面，在Dev Tools中执行以下命令，查看索引：
GET _cat/indices?v
- 索引创建成功后，在Discover-filebeat可以查看采集的数据详情。
