《能源地图》:阿里云数加MaxCompute轻松处理8000亿条气象数据

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 十三五期间伴随能源互联网的建设,能源大数据及云计算能力长足发展,圈内诸多专家和组织陆续又开始讨论“能源地图”的深化应用, 什么是能源地图: 能源地图 1、反映一定地域范围内能源的发展条件及其水平的地区差异的专题地图。

免费开通大数据服务:https://www.aliyun.com/product/odps


十三五期间伴随能源互联网的建设,能源大数据及云计算能力长足发展,圈内诸多专家和组织陆续又开始讨论“能源地图”的深化应用, 什么是能源地图:


能源地图


1、反映一定地域范围内能源的发展条件及其水平的地区差异的专题地图。具体说:根据能源种类,如煤炭、石油、天然气、水能、地热、太阳能、风能等,可以分别编制按能量和品种、质量分级的资源分布图,按开采和加工规模分级的能源工业企业分布图,按流向、流量表示的能源输送图,以销售数量和范围或人均消费量表示的能源消费分布图等。


2、可以全面、系统地表达资源、生产、输送、消费4方面的内容,有助于对能源地理的研究,并可为能源开发规划的制订服务。从综合研究的角度开发,可对一个国家的能源总体,做出各地资源构成和开采条件评价图、能源生产构成分布图、能源消费结构分布图、能源经济区划图以及能源基地综合发展规划图等。


 

在新能源领域,创建能源地图第一步:是拥有一套《新能源气候资源服务可视化平台》:即形成能源地图的气候资源图(太阳辐射、风速风日分布等)。本质上,能源地图既是经济地图的一部分,又与专题地图有较密切的关系,建立一套《气候资源服务可视化平台》,可以在此基础上建立如电网规划和远景预测图、如水力资源图、工业地图、交通运输地图、环境保护地图等。  

 

气候资源服务可视化平台—风资源图:


3654cbcefb164366bd5906281f613b688741f97f


气候资源服务可视化平台—光资源图:


ecdc92af7cb1181c349b08bc53fe51c14bba54fa


能源地图应用场景


如能源地图在《能量魔方政府版》中得到充分使用:系统充分利用《气候资源服务可视化平台》结合国土、林业、电网、城市规划等多方权威数据,对城市未来新能源发展进行合理规划,开发规划为政府提供了项目可视化,便于准确定位项目地理位置、占地面积、开发容量和电网接入变电站等信息查询。



a55f9802221b958fc300ad7fed020bbf31b2a17f


在2017年SNEC展会期间,北京能量魔方数据技术有限公司展示的“气象大师”平台也吸引了业内多数人士前来咨询。实际《气象大师》就是一款典型的气候资源服务可视化平台,可以帮助各类新能源企业建立自己的能源地图。

 

40032d5ecce1ca5ccfa0f6a9372b4a98825a0632


在展会交流中,大家讨论比较多的光资源(如年总辐射、年日照小时数)等数据的精确度和对标问题。从以下几个方面体现:


《气象大师》数据对标升级


气象大师在SNECE会议上展现的数据:通过东润集团公司近400座地面观测站观测数据、SolarGIS平台、国家气象中心数据等三组数据做对标处理。在全国范围选取4349个点进行同经纬度、同时间段、同物理变量(水平总辐射)对标,且做对标后订正。基于观测数据在全国的分布特点(西藏和港澳台除外),利用4349个观测数据对气象大师光资源数据进行的订正升级,最大程度的反映了各地实际历史光资源分布状况。


e4e8ca722c3823271d2d925871f18cdc3010587d

绿色为气象大师数据,蓝色为观测数据,红色为SolarGIS数据


507f7fc0e62ed634e3974d3ea32caa1cc9ce2b87

订正后局部放大图


be18017d491c8ae1570d956d8cfecac56768e758

《气象大师》数据存储升级


《气象大师》所有的数据源来自于1*1公里30年东润自制的原始气象数据NC文件,在阿里大数据计算平台上完成解析、汇总及统计处理的结果数据。


  • 风资源和光资源原始气象NC文件共计131400个,在阿里云OSS共占用空间45T,约1.7万亿记录。


  •  风资源和光资源解析后汇总处理后形成的大数据表共有近8000亿条记录,在阿里云大数据平台MaxCompute中存储,占用空间25T。


  • 阿里云大数据平台MaxCompute对汇总的大数据表计算处理后产生的结果数据提供给能量魔方应用,如其他应用需要此类数据可以共享使用。最终汇总的风资源大表记录数约是7000亿条,MaxCompute存储容量是23T。


  • 风资源原始气象NC文件共计114975个,全国分西北,东北,中部3个区,每个区每天有7个指标文件,包括温度,压强,湿度,风速,风向,AOD,10米光伏。每类气象指标在MaxCompute表每天数据量是2亿条。光资源原始气象NC文件共计16425个,全国分西北,东北,中部3个区,每个区每天有一个光伏文件。


  •  光资源气象预报在阿里云MaxCompute每天数量是2千万条(20653056)


2015年11.12日正式入驻阿里云数据市场,双方联合推出针对新能源的专属数据服务产品:资源评估、气象服务、高精度数据下载三项气象数据产品,此次数据市场的产品入驻作为与阿里云共建能源云的合作内容之一,具有里程碑意义,以大数据为代表的互联网创新理念与新能源发展当中的切实应用需求结合起来,推动虚拟世界和现实世界融合发展,促进新以行业产、管理、经营模式变革,重塑产业价值链。



c68db505cfe326e80f7cfee2fd48eb8334b7f795


最后需要告诉大家的是,升级后的《气象大师》数据,于5月6号已全面对外开放,从风光资源评估到风光气象预报的所有专业报告继续免费下载

【下载地址:www.bjnlmf.net】


能量魔方公司介绍


 北京能量魔方数据技术有限公司是北京东润环能科技股份有限公司(股票代码:831083)全资子公司,为实现集团公司能源互联网转型战略,专注以云计算、能源大数据和产业金融打造能源互联网业务服务平台,服务于分布式能源供给侧和新能源消费侧的互联互通为使命,为社会,企业和消费用户提供创新的分布式能源增值服务,从而推动真正意义的“人人享用清洁智慧能源”。


在政府领域:能量魔方拥有专业的可再生能源规划咨询、系统开发及数据处理团队,建立基于能源大数据技术,精确需求导向的可再生能源发展专项规划、项目管理新模式,提升政府对可再生能源重大基础设施规划的科学决策水平;


在企业领域:能量魔方以“互联网+智慧能源”城市示范项目业务服务平台建设为支撑,拥有城市可再生能源规划、投资建设、金融服务、项目运营、电网调度管理的成功经验,帮助企业制定有效的项目节点监管及控制的管理平台。


在消费领域:能量魔方以移动互联网+产业大数据中心为依托,应用资源卫星、地理信息、气象资源、绿建节能、土地规划、企业征信、电网规划、行业用能、手机信令等大数据采集、处理、分析与挖掘,为分布式资源业主及投资开发商实现资源识别、开发建设、投资评估的生态化服务体系。


转载:新能源门-王雅明公众号

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
3天前
|
SQL 机器学习/深度学习 分布式计算
MaxCompute产品使用合集之数据删除之后,是否支持回滚
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
4天前
|
分布式计算 DataWorks 关系型数据库
DataWorks产品使用合集之同样的表和数据,在PolarDB执行LEFT JOIN查询可以得到结果,但在MaxCompute中却返回为空,是什么原因
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
4天前
|
分布式计算 DataWorks API
DataWorks产品使用合集之使用REST API Reader往ODPS写数据时,如何获取入库时间
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
3天前
|
SQL 分布式计算 DataWorks
MaxCompute产品使用合集之整库离线同步至MC的配置中,是否可以清除原表所有分区数据的功能
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
3天前
|
机器学习/深度学习 分布式计算 DataWorks
MaxCompute产品使用合集之如何将数据映射成Holo表的语句
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
2天前
|
分布式计算 运维 DataWorks
MaxCompute操作报错合集之用户已在DataWorks项目中,并有项目的开发和运维权限,下载数据时遇到报错,该如何解决
MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。
|
2天前
|
SQL 分布式计算 DataWorks
MaxCompute操作报错合集之使用sql查询一个表的分区数据时遇到报错,该如何解决
MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。
|
3天前
|
数据采集 分布式计算 大数据
MaxCompute产品使用合集之数据集成中进行数据抽取时,是否可以定义使用和源数据库一样的字符集进行抽取
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
4天前
|
分布式计算 DataWorks 调度
DataWorks产品使用合集之当ODPS任务出错并重新运行时,数据的值可能会翻倍的原因是什么
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
4天前
|
存储 消息中间件 容灾

热门文章

最新文章

相关产品

  • 云原生大数据计算服务 MaxCompute