独家 | 环境大数据的应用案例及前景

简介:

大数据在各行业的应用和发展态势强劲,不断突破学科壁垒和行业界限,促进各个领域的优质资源高效汇集起来,特别是在金融、医疗等行业已经展开了广泛的应用。而环境是人类赖以生存的基础,对环境管理理念、管理方式的转变,同样需要借助大数据的力量促进其产生巨大的影响,探索出更科学更有效的治理方案和建设思路。

image

常杪老师在环境大数据治理方面有着多年专注研究,具有丰硕的研究成果和丰富的应用经验。在分享中,常老师从三个层面展开:1.什么是环境大数据及应用现状;2.如何通过大数据改变环境管理的建设思路与实例;3.环境大数据应用面临的挑战和困难等,并紧密围绕环境大数据应用的现状和未来展开介绍。

image

常杪老师着重讲解了大家比较关心的政府数据和行业应用这部分。环境大数据具备大数据的“4V”特征,环保部门的数据类型大致分为环境质量的数据(环境质量数据的量非常大,包括空气质量与水质量)、污染源的数据这两大类直接相关的数据,当然大量的业务型数据和过程数据也在研究范围内。另外,互联网数据(主要是移动终端搭载的环境要素的监测数据,现在民用的也很多)和环保相关的统计分析数据也归属于环境大数据,只是不作为讨论的重点。

image

环境治理关系到国计民生,因此,改善环境质量已经成为所有地方政府考核政绩的硬指标,而且这些考核要拿数据说话。当前,各级政府对于环境大数据的建设有迫切的需求,而我国环境信息化发展阶段暂处于探索和启动的后期,还没有进入高速发展期,在数据方面还存在一定问题,并且在大数据的应用层面还没有全面展开。然而市场已经开启,常杪老师带领其团队参与到目前国家试点的省市(如内蒙古,以及福建、新疆、深圳、佛山、顺德等)环境大数据建设的顶层设计中,这些项目的建设紧密贴合政府需求,能够有效实现监管精细化、环境决策科学化和公众服务的便民化。

提到政府环境大数据建设思路,常杪老师认为从感知层、传输层、存储层到支承层、决策层的每一层都值得去开发,而这些思路在设计阶段就要充分了解和调研,比如:业务流程、各个业务部门的管理职能、数据现状以及数据流等,因为每个地方的情况都不太一样。做环保方案不同于其他行业,它需要按照要素管理,比如:水、气、土壤、地下水、噪声、固废、辐射、生态等等,因此对每一个业务部门都要做深入的调查。

image

常杪老师特别指出环境大数据急需顶层设计,不能预设环境大数据建设会起到立竿见影的效果。如果只重视软硬件投入,而忽视与实际业务的联系,忽视数据运维与分析,那么这样的理解偏差容易造成大量的投入不见效果的窘境。基于此,特别提出了解决之道,如下图所示。

image

在案例分享部分,常杪老师带来了内蒙古电力行业、乌梁素海案例、河北空气质量保障指挥平台、无锡生态环境物联网监测监控体系、青海生态之窗等典型案例并作分享,并以美国芝加哥铺设空气质量传感器和南加州癌症风险数据库为例展开详细介绍,为环境大数据建设提供了新思路和宝贵的经验。

image

基于二十多个省市建设方案的参与实践经验,常杪老师分享了自己的体会与感悟:首先最重要的就是做好顶层设计;其次是采用多种监测方式丰富数据来源,比如移动监测的一些设备(无人机),还有包括网格化监管的低成本、高精度的微型设备。然而诸如恶臭、VOC、土壤等领域急需研发和监控,因此她提出这个领域的开发硬件市场非常广阔。
 
image

本场讲座共吸引了一百余位清华校内外的听众来到现场,现场气氛热烈。在分享结束后学生们久久不愿散去,围绕常老师继续交流。常老师对在场师生所关心的问题逐一进行解答。来自软件学院的唐同学表示常老师对环境大数据的分析给他的本专业科研带来了新的启发和思路,这样的活动使他收获巨大。

原文发布时间为:2017-09-16
本文作者:常杪
本文来自云栖社区合作伙伴“数据派THU”,了解相关信息可以关注“数据派THU”微信公众号

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
1月前
|
SQL 分布式计算 数据可视化
Tableau与大数据:可视化工具在大数据分析中的应用
【4月更文挑战第8天】Tableau是一款领先的数据可视化工具,擅长于大数据分析,提供广泛的数据连接器,支持多源整合。它与Hadoop、Spark等深度集成,实现高效大数据处理。Tableau的拖拽式界面和交互式分析功能使得非技术人员也能轻松探索数据。在实战中,Tableau用于业务监控、数据storytelling和自助式分析,推动数据民主化,提升决策效率。未来,Tableau将持续创新,扩展生态系统,并保障数据安全与合规性,助力企业最大化数据价值。
40 0
|
1月前
|
存储 消息中间件 监控
【Flume】Flume在大数据分析领域的应用
【4月更文挑战第4天】【Flume】Flume在大数据分析领域的应用
|
13天前
|
SQL 分布式计算 DataWorks
MaxCompute产品使用合集之DataWorks体验案例绑定如何绑定到正确的maxcomputer引擎上
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
1月前
|
搜索推荐 大数据 数据安全/隐私保护
大数据的应用领域
【4月更文挑战第10天】大数据已深入金融(风险评估、欺诈检测)、医疗(精准医疗、疾病预测)、公共服务(交通管理、灾害预测)、电子商务(客户分析、个性化推荐)、制造业(生产控制、优化)及农业(资源配置、生产效率)等多个领域。随着技术进步,应用范围将持续扩展,但需关注隐私保护和数据安全。
16 3
|
2月前
|
数据采集 分布式计算 大数据
Java语言在大数据处理中的应用
传统的大数据处理往往依赖于庞大的数据中心和高性能的服务器,然而随着大数据时代的到来,Java作为一种强大的编程语言正在被广泛应用于大数据处理领域。本文将探讨Java语言在大数据处理中的优势和应用,以及其在分布式计算、数据处理和系统集成等方面的重要作用。
|
1天前
|
存储 NoSQL 大数据
【MongoDB 专栏】MongoDB 在大数据场景下的应用
【5月更文挑战第11天】MongoDB,适用于大数据时代,以其灵活数据模型、高可扩展性和快速性能在大数据场景中脱颖而出。它处理海量、多类型数据,支持高并发,并在数据分析、日志处理、内容管理和物联网应用中广泛应用。电商和互联网公司的案例展示了其在扩展性和业务适应性上的优势,但同时也面临数据一致性、资源管理、数据安全和性能优化的挑战。
【MongoDB 专栏】MongoDB 在大数据场景下的应用
|
5天前
|
分布式计算 监控 数据挖掘
MaxCompute的应用
【5月更文挑战第7天】MaxCompute的应用
25 8
|
13天前
|
分布式计算 DataWorks Java
DataWorks产品使用合集之阿里云DataWorks专有云环境下,上传MaxCompute的UDF(用户自定义函数)的JAR包的步骤如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
22 0
|
1月前
|
SQL Cloud Native 架构师
深入浅出Presto:大数据查询引擎的原理与应用
【4月更文挑战第7天】Presto是高性能的分布式SQL查询引擎,专为大规模数据交互式分析设计。它采用分离式架构,内存计算和动态规划优化查询,支持跨源查询、交互式查询和ANSI SQL兼容性。应用于大数据分析、实时数据湖查询和云原生部署。Presto的灵活性和效率使其在大数据处理领域备受推崇,适合分析师、数据科学家和IT架构师使用。未来将在博客中分享更多实践和案例。
25 1
|
1月前
|
NoSQL 大数据 数据挖掘
现代数据库技术与大数据应用
随着信息时代的到来,数据量呈指数级增长,对数据库技术提出了前所未有的挑战。本文将介绍现代数据库技术在处理大数据应用中的重要性,并探讨了一些流行的数据库解决方案及其在实际应用中的优势。

热门文章

最新文章