大数据破解污染图谱 北风与雾霾啥关系

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 本文讲的是大数据破解污染图谱 北风与雾霾啥关系【IT168评论】南美洲的蝴蝶扇动下翅膀,太平洋都能起台风。但为何西伯利亚的强冷空气,却吹不动北京的雾霾?对于这个问题,中国的程序员希望用代码寻找气象与环境污染之间的关系,最终用街头大妈都能看懂的方式呈现出来。

本文讲的是大数据破解污染图谱 北风与雾霾啥关系【IT168评论】南美洲的蝴蝶扇动下翅膀,太平洋都能起台风。但为何西伯利亚的强冷空气,却吹不动北京的雾霾?对于这个问题,中国的程序员希望用代码寻找气象与环境污染之间的关系,最终用街头大妈都能看懂的方式呈现出来。

  4月27日,在云栖大会·南京峰会上,由阿里巴巴公益基金会、中国气象局公共气象服务中心主办,阿里云、浙江大学、中国天气网承办的天池数据可视化创新大赛宣布开赛。参赛者可对阿里云天池平台上的各类气象数据与公共环境数据进行分析挖掘,寻找空气、水质、企业排放、气象等数据之间的关系,并用可视化的形式展现出来。

  这些数据包括中国气象局公共气象服务中心独家提供的中国主要城市精细粒度的风、温、降雨等气象数据,以及由阿里巴巴公益基金会“环境云图”项目资助的公益机构提供的企业排放监测、水质监测等数据。

  阿里云大数据事业部研究员徐常亮说,以众智的形式研究环境与气象问题,这只是开始。阿里云天池未来会引进更多的公共数据,让全世界最聪明的科学家一起破解这道人类难题。

  中国气象局公共气象服务中心中国天气网CEO刘汉博说,随着全球气候变化加剧、气象防灾减灾形势日益严峻,社会对气象数据和气象服务的需求越来越大。大数据时代,气象数据与其他行业数据的融合挖掘,可以深化气象服务供给的效率和效益。我们希望更多的开发者和行业参与者加入进来,通过众智、众创的方式,推动气象服务的社会应用创新。

  中国的工业排放体系被认为是全世界最复杂的,既有全球最先进的宝钢,也有落后的中西部小钢铁。污染物和污染源本身已经构成了复杂的大数据体系,但要做到“精准治污”,除了要加速建设环境生态大数据体系,同时还要考虑气象数据的影响。就以大气数据分析为例,需要将排放数据、气象数据、天上的浓度数据全部囊括进来。

  浙江大学CAD&CG国家重点实验室陈为教授表示,如果有选手能够将细粒度的风场数据、企业废气排放情况以及PM2.5空气质量的状况在一张图上呈现出来,这将对观察风向同污染物扩散之间的关系有很大帮助。“目前水质地图、空气地图只能独立的观测某一维度的现状,无法看到关联因素的影响。”

  美国的哈德森河是典型大数据治污的成果。科学家团队通过传感器把河流中的盐都、浊度、叶绿素和颗粒物粒径等信息,传递到计算中心。再结合河流的风向和风压数据,汇聚成了一条电脑上的虚拟哈德森河。流水何时被污染,化学、物理、生物成分发生了什么变化,一看便知。

  阿里巴巴公益基金会希望能够推动更多公益机构从事类似的工作。在过去的两年中,基金会联合阿里云,资助了20多家民间机构应用云计算与大数据。仅蔚蓝地图一款APP就推动了近500家超标排放企业进行整改及绿色转型。“环境云图”还将和公益机构一起,通过挖掘环境公共数据,让公众和决策者能方便地使用数据参与环保。

原文发布时间为:2016-04-27

本文作者:信雪蕊

本文来自云栖社区合作伙伴IT168,了解相关信息可以关注IT168

原文标题:大数据破解污染图谱 北风与雾霾啥关系

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
4月前
|
SQL 分布式计算 大数据
"大数据计算难题揭秘:MaxCompute中hash join内存超限,究竟该如何破解?"
【8月更文挑战第20天】在大数据处理领域,阿里云的MaxCompute以高效稳定著称,但复杂的hash join操作常导致内存超限。本文通过一个实例解析此问题:数据分析师小王需对两个共计300GB的大表进行join,却遭遇内存不足。经分析发现,单个mapper任务内存默认为2GB,不足以支持大型hash表的构建。为此,提出三种解决方案:1) 提升mapper任务内存;2) 利用map join优化小表连接;3) 实施分而治之策略,将大表分割后逐一处理再合并结果。这些方法有助于提升大数据处理效率及稳定性。
86 0
|
4月前
|
机器学习/深度学习 分布式计算 大数据
大数据迷局:如何用PyODPS破解回归分析之门?
【8月更文挑战第20天】随着大数据技术的发展,回归分析在处理海量数据时愈发重要。PyODPS是阿里云MaxCompute上的Python库,支持高效的数据处理。本文通过示例展示如何使用PyODPS进行回归分析:从安装库、连接MaxCompute、读取销售数据,到数据预处理、构建线性回归模型、预测销售额及评估模型性能(如计算RMSE)。这一流程体现了PyODPS在大数据环境下的强大功能。
64 0
|
存储 数据可视化 大数据
带你读《2022年开源大数据热力报告》——热力“摩尔定律”和热力图谱
带你读《2022年开源大数据热力报告》——热力“摩尔定律”和热力图谱
280 0
下一篇
无影云桌面