【玩转数据系列九】机器学习为您解密雾霾形成原因-阿里云开发者社区

开发者社区> 傲海> 正文

【玩转数据系列九】机器学习为您解密雾霾形成原因

简介: 如果要人们评选当今最受关注话题的top10榜单,雾霾一定能够入选。如今走在北京街头,随处可见带着厚厚口罩的人在埋头前行,雾霾天气不光影响了人们的出行和娱乐,对于人们的健康也有很大危害。本文通过爬取并分析北京一年来的真实天气数据,挖掘出二氧化氮是跟雾霾天气(这里指的是PM2.5)相关性最强的污染物,从
+关注继续查看

一、背景

如果要人们评选当今最受关注话题的top10榜单,雾霾一定能够入选。如今走在北京街头,随处可见带着厚厚口罩的人在埋头前行,雾霾天气不光影响了人们的出行和娱乐,对于人们的健康也有很大危害。本文通过爬取并分析北京一年来的真实天气数据,挖掘出二氧化氮是跟雾霾天气(这里指的是PM2.5)相关性最强的污染物,从而为您揭秘形成雾霾的罪魁祸首。

这里我们是用阿里云机器学习平台来完成实验:
https://data.aliyun.com/product/learn

登陆阿里云机器学习平台,即可在demo页选择实验并且亲手实现整个机器学习的预测分析,完全零门槛。

底层计算引擎-阿里云数加MaxCompute:https://www.aliyun.com/product/odps

二、数据集介绍

数据源:采集了2016全年的北京天气指标。

采集的是从2016年1月1号以来每个小时的空气指标,。具体字段如下表:

字段名 含义 类型
time 日期,精确到天 string
hour 表示的是时间,第几小时的数据 string
pm2 pm2.5的指标 string
pm10 pm10的指标 string
so2 二氧化硫的指标 string
co 一氧化碳的指标 string
no2 二氧化氮的指标 string

三、数据探索流程

阿里云机器学习平台采用拖拉算法组件拼接实验的操作方式,先来看下整个实验流程:

我们把整个实验拆解成四个部分,分别是数据导入及预处理、统计分析、随机森林预测及分析、逻辑回归预测及分析。下面我们分别介绍一下这四个模块的逻辑。

1.数据导入及预处理

(1)数据导入
在“数据源”中选择“新建表”,可以把本地txt文件上传。

数据导入后查看:

(2)数据预处理
通过类型转换把string型的数据转double。把pm2这一列作为目标列,数值超过200的情况作为重度雾霾天气打标为1,低于200标为0,实现的SQL语句如下。

select time,hour,(case when pm2>200 then 1 else 0 end),pm10,so2,co,no2 from ${t1};  

(3)归一化
归一化主要是去除量纲的作用,把不同指标的污染物单位统一。

2.统计分析

我们在统计分析的模块用了两个组件:
(1)直方图
通过直方图可以可视化的查看不同数据在不同区间下的分布。通过这组数据的可视化展现,我们可以了解到每一个字段数据的分布情况,以PM2.5为例,数值区间出现最多的是11.74~15.61,一共出现了430次。

(2)数据视图
通过数据视图可以查看不同指标的不同区间对于结果的影响。

以no2为例,在112.33~113.9这个区间产生了7个目标列为0的目标,产生了9个目标列为1的目标。也就是说当no2为112.33~113.9区间的情况下,出现重度雾霾的天气的概率是非常大的。熵和基尼系数是表示这个特征区间对于目标值的影响,数值越大影响越大,这个是从信息量层面的影响。

3.随机森林预测及分析

本案其实是采用了两种不同的算法对于结果进行预测,我们先来看看随机森林这一分支。我们通过将数据集拆分,百分之八十的数据训练模型,百分之二十的数据预测。最终模型的呈现可以可视化的显示出来,在左边模型菜单下查看,随机森林是树状模型。

通过这个模型预测结果的准确率:

我们看到AUC是0.99,也就是说如果我们有了本文用到的天气指标数据,就可以预测天气是否雾霾,而且准确率可以达到百分之九十以上。

4.逻辑回归预测及分析

再来看下逻辑回归这一分支的预测模型,逻辑回归是线性模型:

模型预测准确率:

逻辑回归的AUC为0.98,比用随机森林计算得到的结果略低一点。如果排除调参对于结果的影响因素,可以说明针对这个数据集,随机森林的训练效果会更好一点。

四、结果评估

上面介绍了如何通过搭建实验来搭建针对PM2.5的预测流程,准确率达到百分之九十以上。下面我们来分析一下哪种空气指标对于PM2.5影响最大,首先来看下逻辑回归的生成模型:

因为经过归一化计算的逻辑回归算法有这样的特点,模型系数越大表示对于结果的影响越大,系数符号为正号表示正相关,负号表示负相关。我们看一下正号系数里pm10和no2最大。pm10和pm2只是颗粒尺寸大小不同,是一个包含关系,这里不考虑。剩下的no2(二氧化氮)对于pm2.5的影响最大。我们只要查阅一下相关文档,了解下哪些因素会造成no2的大量排放即可找出影响pm2.5的主要因素。
下面网上是找到的关于no2排放的论述,文中说明了no2主要来自电厂和汽车尾气。no2来源文章

五、其它

作者微信公众号(与作者讨论):

参与讨论:云栖社区公众号

免费体验:阿里云数加机器学习平台

MaxCompute:https://www.aliyun.com/product/odps
阿里云大数据公众号:https://yq.aliyun.com/teams/6?spm=5176.100244.teamlist.17.SRj3O7

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
几个学习流媒体的案例代码网址
1. winlin winlinvip simple-rtmp-server  https://github.com/winlinvip/simple-rtmp-server SRS定位是运营级的互联网直播服务器集群,追求更好的概念完整性和最简单实现的代码。
1310 0
零示例学习中的映射域迁移 (projection domain shift) 问题
本文介绍了两种解决零示例学习中的映射域迁移问题的方法 AEZSL 和 DAEZSL 。
517 0
spring源码学习之【准备】cglib动态代理例子
一:委托者 1 package com.yeepay.porxy.cglib.test; 2 3 import java.util.HashMap; 4 import java.
809 0
ADSL 加一个路由器连了几台电脑最近老断线或网速很慢是什么原因
  这是宽带路由器的一个小小弊端。通过对网速的实测证明,在ADSL 接入电脑之间安装宽带路由器后,在多台电脑同时在线的情况下,由于路由器在地址解析、路由分发等方而的耽误,实际到达电脑的速度比单机直接连入AOSL 线路要稍慢一些。
699 0
spring源码学习【准备】之jdk动态代理和cglib动态代理的区别和性能
一:区别:---->JDK的动态代理依靠接口实现,如果有些类并没有实现接口,则不能使用JDK代理,这就要使用cglib动态代理了。--->JDK的动态代理机制只能代理实现了接口的类,而不能实现接口的类就不能实现JDK的动态代理,cglib是针对类来实现代理的,他的原理是对指定的目标类生成一个子类,并覆盖其中方法实现增强,但因为采用的是继承,所以不能对final修饰的类进行代理。
917 0
嵌入式linux、QT、ARM、android研发学习交流,软考嵌入式系统设计师交流群,欢迎大家加入,群号95388240
 嵌入式linux、QT、ARM、android研发学习交流,软考嵌入式系统设计师交流群,欢迎大家加入,群号95388240
871 0
git学习------>如何修改git已提交的记录中的Author和Email?
一、背景 最近搭建好GitLab后,准备陆陆续续的将之前在SVN仓库中保存的代码迁移到GitLab上,昨天顺利将三个Android组件的代码迁移到GitLab后,其他同事发现迁移是成功了,但是pull下来命令后查看git log 发现所有人的有些都配置成了我的邮箱,尴尬啊。
4135 0
学习ASP.NET MVC系列 - 还有比这更简炼的吗?把复杂的事情变简单了,贡献啊!
转自   学习ASP.NET MVC系列: 学习ASP.NET MVC(一)——我的第一个ASP.NET MVC应用程序 学习ASP.NET MVC(二)——我的第一个ASP.NET MVC 控制器 学习ASP.
813 0
+关注
傲海
著有《机器学习实践应用》,阿里云机器学习PAI产品经理,个人微信公众号“凡人机器学习”。
302
文章
10
问答
来源圈子
更多
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载