独家 | 环境大数据的应用案例及前景

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

大数据在各行业的应用和发展态势强劲,不断突破学科壁垒和行业界限,促进各个领域的优质资源高效汇集起来,特别是在金融、医疗等行业已经展开了广泛的应用。而环境是人类赖以生存的基础,对环境管理理念、管理方式的转变,同样需要借助大数据的力量促进其产生巨大的影响,探索出更科学更有效的治理方案和建设思路。

image

常杪老师在环境大数据治理方面有着多年专注研究,具有丰硕的研究成果和丰富的应用经验。在分享中,常老师从三个层面展开:1.什么是环境大数据及应用现状;2.如何通过大数据改变环境管理的建设思路与实例;3.环境大数据应用面临的挑战和困难等,并紧密围绕环境大数据应用的现状和未来展开介绍。

image

常杪老师着重讲解了大家比较关心的政府数据和行业应用这部分。环境大数据具备大数据的“4V”特征,环保部门的数据类型大致分为环境质量的数据(环境质量数据的量非常大,包括空气质量与水质量)、污染源的数据这两大类直接相关的数据,当然大量的业务型数据和过程数据也在研究范围内。另外,互联网数据(主要是移动终端搭载的环境要素的监测数据,现在民用的也很多)和环保相关的统计分析数据也归属于环境大数据,只是不作为讨论的重点。

image

环境治理关系到国计民生,因此,改善环境质量已经成为所有地方政府考核政绩的硬指标,而且这些考核要拿数据说话。当前,各级政府对于环境大数据的建设有迫切的需求,而我国环境信息化发展阶段暂处于探索和启动的后期,还没有进入高速发展期,在数据方面还存在一定问题,并且在大数据的应用层面还没有全面展开。然而市场已经开启,常杪老师带领其团队参与到目前国家试点的省市(如内蒙古,以及福建、新疆、深圳、佛山、顺德等)环境大数据建设的顶层设计中,这些项目的建设紧密贴合政府需求,能够有效实现监管精细化、环境决策科学化和公众服务的便民化。

提到政府环境大数据建设思路,常杪老师认为从感知层、传输层、存储层到支承层、决策层的每一层都值得去开发,而这些思路在设计阶段就要充分了解和调研,比如:业务流程、各个业务部门的管理职能、数据现状以及数据流等,因为每个地方的情况都不太一样。做环保方案不同于其他行业,它需要按照要素管理,比如:水、气、土壤、地下水、噪声、固废、辐射、生态等等,因此对每一个业务部门都要做深入的调查。

image

常杪老师特别指出环境大数据急需顶层设计,不能预设环境大数据建设会起到立竿见影的效果。如果只重视软硬件投入,而忽视与实际业务的联系,忽视数据运维与分析,那么这样的理解偏差容易造成大量的投入不见效果的窘境。基于此,特别提出了解决之道,如下图所示。

image

在案例分享部分,常杪老师带来了内蒙古电力行业、乌梁素海案例、河北空气质量保障指挥平台、无锡生态环境物联网监测监控体系、青海生态之窗等典型案例并作分享,并以美国芝加哥铺设空气质量传感器和南加州癌症风险数据库为例展开详细介绍,为环境大数据建设提供了新思路和宝贵的经验。

image

基于二十多个省市建设方案的参与实践经验,常杪老师分享了自己的体会与感悟:首先最重要的就是做好顶层设计;其次是采用多种监测方式丰富数据来源,比如移动监测的一些设备(无人机),还有包括网格化监管的低成本、高精度的微型设备。然而诸如恶臭、VOC、土壤等领域急需研发和监控,因此她提出这个领域的开发硬件市场非常广阔。
 
image

本场讲座共吸引了一百余位清华校内外的听众来到现场,现场气氛热烈。在分享结束后学生们久久不愿散去,围绕常老师继续交流。常老师对在场师生所关心的问题逐一进行解答。来自软件学院的唐同学表示常老师对环境大数据的分析给他的本专业科研带来了新的启发和思路,这样的活动使他收获巨大。

原文发布时间为:2017-09-16
本文作者:常杪
本文来自云栖社区合作伙伴“数据派THU”,了解相关信息可以关注“数据派THU”微信公众号

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
17天前
|
SQL 存储 分布式计算
ODPS技术架构深度剖析与实战指南——从零开始掌握阿里巴巴大数据处理平台的核心要义与应用技巧
【10月更文挑战第9天】ODPS是阿里巴巴推出的大数据处理平台,支持海量数据的存储与计算,适用于数据仓库、数据挖掘等场景。其核心组件涵盖数据存储、计算引擎、任务调度、资源管理和用户界面,确保数据处理的稳定、安全与高效。通过创建项目、上传数据、编写SQL或MapReduce程序,用户可轻松完成复杂的数据处理任务。示例展示了如何使用ODPS SQL查询每个用户的最早登录时间。
53 1
|
21天前
|
分布式计算 监控 大数据
大数据-131 - Flink CEP 案例:检测交易活跃用户、超时未交付
大数据-131 - Flink CEP 案例:检测交易活跃用户、超时未交付
57 0
|
21天前
|
消息中间件 关系型数据库 MySQL
大数据-117 - Flink DataStream Sink 案例:写出到MySQL、写出到Kafka
大数据-117 - Flink DataStream Sink 案例:写出到MySQL、写出到Kafka
92 0
|
21天前
|
SQL 分布式计算 NoSQL
大数据-164 Apache Kylin Cube优化 案例1 定义衍生维度与对比 超详细
大数据-164 Apache Kylin Cube优化 案例1 定义衍生维度与对比 超详细
12 1
大数据-164 Apache Kylin Cube优化 案例1 定义衍生维度与对比 超详细
|
21天前
|
存储 分布式计算 druid
大数据-149 Apache Druid 基本介绍 技术特点 应用场景
大数据-149 Apache Druid 基本介绍 技术特点 应用场景
46 1
大数据-149 Apache Druid 基本介绍 技术特点 应用场景
|
17天前
|
分布式计算 大数据 Linux
大数据体系知识学习(二):WordCount案例实现及错误总结
这篇文章介绍了如何使用PySpark进行WordCount操作,包括环境配置、代码实现、运行结果和遇到的错误。作者在运行过程中遇到了Py4JJavaError和JAVA_HOME未设置的问题,并通过导入findspark初始化和设置环境变量解决了这些问题。文章还讨论了groupByKey和reduceByKey的区别。
13 1
|
17天前
|
分布式计算 Hadoop 大数据
大数据体系知识学习(一):PySpark和Hadoop环境的搭建与测试
这篇文章是关于大数据体系知识学习的,主要介绍了Apache Spark的基本概念、特点、组件,以及如何安装配置Java、PySpark和Hadoop环境。文章还提供了详细的安装步骤和测试代码,帮助读者搭建和测试大数据环境。
34 1
ly~
|
21天前
|
供应链 搜索推荐 安全
大数据模型的应用
大数据模型在多个领域均有广泛应用。在金融领域,它可用于风险评估与预测、智能营销及反欺诈检测,助力金融机构做出更加精准的决策;在医疗领域,大数据模型能够协助疾病诊断与预测、优化医疗资源管理和加速药物研发;在交通领域,该技术有助于交通流量预测、智能交通管理和物流管理,从而提升整体交通效率;电商领域则借助大数据模型实现商品推荐、库存管理和价格优化,增强用户体验与企业效益;此外,在能源和制造业中,大数据模型的应用范围涵盖从需求预测到设备故障预测等多个方面,全面推动了行业的智能化转型与升级。
ly~
45 2
|
21天前
|
消息中间件 存储 druid
大数据-156 Apache Druid 案例实战 Scala Kafka 订单统计
大数据-156 Apache Druid 案例实战 Scala Kafka 订单统计
32 3
|
21天前
|
存储 大数据 分布式数据库
大数据-165 Apache Kylin Cube优化 案例 2 定义衍生维度及对比 & 聚合组 & RowKeys
大数据-165 Apache Kylin Cube优化 案例 2 定义衍生维度及对比 & 聚合组 & RowKeys
20 1