袋鼠云助力光伏产业 | 基于阿里云数加平台做算法预测

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 随着大数据技术的蓬勃发展,现在关于大数据技术在各行各业的实践也如火如荼。 那么当大数据技术遇到光伏行业会产生何样的化学反应呢? 下面就和大家一起分享一下袋鼠云是如何使用阿里云数加平台和机器学习平台助力光伏行业的。

随着大数据技术的蓬勃发展,现在关于大数据技术在各行各业的实践也如火如荼。


那么当大数据技术遇到光伏行业会产生何样的化学反应呢?


下面就和大家一起分享一下袋鼠云是如何使用阿里云数加平台和机器学习平台助力光伏行业的。


说明:

为保护客户数据隐私,本文未透露客户名称,并将相关数据进行了马赛克处理。


01  光伏大数据实践简介


  光伏行业为什么适合大数据技术


原因有二:光伏行业涉及的数据面很“广”; 光伏行业涉及的数据量很“多”。



976e77c3e53f02929a92d150e22ab49157ef4804

从狭义上来看:光伏行业拥有各个电站实时采集的光伏发电数据以及周边环境数据

从广义上来看:光伏数据除了光伏电站全生命周期(规划及设计、建造及验收、监测及控制、运维及管理、资产评估及交易)的所有数据外,太阳辐射数据、气象数据、地理数据以及一些购电协议等相关业务数据,也包括其中。


  光伏大数据应用的价值


1. 电力调度


国家能源局下发的《2015年度全国光伏年度计划新增并网规模表》征求意见稿显示,2015年全国新增光伏发电并网规模将高达15GW。


随着光伏发电量在社会发电总量所占的比例越来越高,目前光伏电站所监测的发电数据仅用于常规运维及计量计价的现状急需改变。


通过对整个光伏发电数据的检测,将光伏发电加入到整个电网调度之中,这也是未来的一种趋势。

 

如此背景下,光伏发电企业急需解决的一个问题,则是如何准确地了解到自身能产生多大规模的电力供应。在此基础上,才能通过对大数据技术的运用,对设备状态、电能负载等数据的分析、挖掘,实现精准调度,做到分布式电源的有效共享。


44292c69f830efe3c10a11677a7e536b288300b6




2. 提升用电效率


《关于进一步深化电力体制改革的若干意见》将 “ 积极开展电力需求侧管理和能效管理,完善有序用电和节约用电制度”列为五项基本原则的重要内容,明确要“通过运用现代信息技术、培育电能服务、实施需求响应等,促进供需平衡和节能减排 ” 。


在这种大背景下,光伏电站以及正在开展分布式光伏项目的企业也应积极参与,与需求侧响应管理相配合,提升发电能效。


通过集成光伏大数据,形成分析引擎,提供光伏电站的实时监测和即时数据分析,并据此对用户进行需求响应管理,引导用户于光伏发电高峰时多用电,光伏发电低谷时少用电,优化用电方式,提高供电效率。


另外,在光伏大数据监测分析引擎的基础上,更多创新的商业模式也将随之涌现,如节能建筑设计和智能家电设计等。分析和利用光伏电站提供的光伏大数据,提供准确的用电预测,节电的同时,也管理着把电送到哪里,哪里的电可以并网。通过与需求侧响应管理相配合,光伏发电可以实现按需动态调配生产、传输和消费,达到提高效率、节能减排的目的。


3.  故障检测


通过光伏行业的快速发展,各种光伏的监控平台也在不断的推出,他们可以监测光伏电站统计的实时运行数据,比如:今日发电量、昨日发电量、电站实时效率以及电站运行状态等,并可以在某些指标出现异常波动时,发出异常预警,方便工作人员提早排查,提前防范,减少损失等。毋庸置疑,在这个过程中,数据发挥的作用非常重要。

 

02  阿里云大数据平台


工欲善其事,必先利其器。


作为国内大数据领域的标杆企业,阿里云的大数据技术在国内同样遥遥领先。


阿里云完整的大数据生态,使得企业无需关注底层技术架构实现,可以将更多的精力放在对自身业务数据的应用上,从而快速拥有大数据能力

 

  阿里云大数据分析利器 MaxCompute

 

大数据计算服务(MaxCompute,原名ODPS),是一种快速、完全托管的TB/PB级数据仓库解决方案。


MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速地解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。


MaxCompute主要服务于批量结构化数据的存储和计算,可以提供海量数据仓库的解决方案以及针对大数据的分析建模服务。


随着社会数据收集手段的不断丰富及完善,越来越多的行业数据被积累下来。数据规模已经增长到了传统软件行业无法承载的海量数据(百GB、TB、乃至PB)级别。在分析海量数据场景下,由于单台服务器的处理能力限制,数据分析者通常采用分布式计算模式。


但分布式的计算模型对数据分析人员提出了较高的要求,且不宜维护。使用分布式模型,数据分析人员不仅需要了解业务需求,同时还需要熟悉底层计算模型。


MaxCompute的目的是为用户提供一种便捷分析处理海量数据的手段。用户可以不必关心分布式计算细节,从而达到分析大数据的目的。


目前,MaxCompute已经在阿里巴巴集团内部得到大规模应用,例如:大型互联网企业的数据仓库建设和BI分析、网站日志分析、电子商务网站交易分析、用户特征和兴趣挖掘等。


  分析型数据库(AnalyticDB)


阿里云分析型数据库 (原名ADS),让海量数据和实时与自由的计算可以兼得,实现了速度驱动的大数据商业变革。


一方面: 分析型数据库拥有快速处理百亿级别数据的能力,使得数据分析中使用的数据可以不再是抽样的,而是业务系统中产生的全量数据,使得数据分析的结果具有最强的代表性。


而更重要的是:分析型数据库采用云计算技术,拥有强大的实时计算能力,通常可以在数百毫秒内完成十亿百亿的数据计算,使得使用者可以根据自己的想法在海量数据中进行自由探索,而不是根据预先设定好的逻辑查看已有的数据报表。


同时:由于分析型数据库能够支撑较高并发查询量,并且通过动态的多副本数据存储计算技术来保证较高的系统可用性,所以能够直接作为面向最终用户(End User)的产品(包括互联网产品和企业内部的分析产品)的后端系统。


6e5964a15c7a93258baab00be93f07932667142b


  阿里云大数据平台(DataIDE)


大数据开发套件(Data IDE),提供可视化开发界面、离线任务调度运维、快速数据集成、多人协同工作等功能,为大数据开发者提供一个高效、安全的离线数据开发环境。


并且该套件拥有强大的Open API为数据应用开发者提供良好的再创作生态,平台使用者只需要通过拖拽的方式就可以完成一个工作流的开发。

c3c8b6ab245dd8eb85dffde04ca0d4a0ce0df183

  阿里云机器学习平台(PAI) 


数加·机器学习基于阿里云飞天计算引擎,提供高质量机器学习算法以及低门槛的操作方式,真正实现为业务插 上人工智能的翅膀。 

功能优势和特点: 

○ 深度学习(GPU):平台已经支持 Tensorflow、MXNet、Caffee 等行业主流深度学习框架,支持底层 GPU 集群的多卡灵活调用。 

○ 可视化操作界面:机器学习平台提供可视化的操作界面,通过拖拉拽的方式拖动算法组件拼接成实验,操作流 程类似于搭积木。

○ 一站式服务:提供一站式的服务体验,数据的清洗、特征工程、机器学习算法、评估、在线预测以及离线调度 都可以在平台上一站式使用。

○ 算法丰富:提供 100 余种算法组件,覆盖回归、分类、聚类、文本分析、关系挖掘等算法。

dd6c51cf4ade1c0f9dcdfa3ea02b23225ad5280b





03  光伏行业应用实践


古人云“鉴往而知未来”。不错,在今天的大数据时代,通过对历史数据的分析、挖掘,我们能发现某些潜在的规律,根据这些规律我们对未来的结果可以做一定的预测。


  客户的诉求


该客户是一家做光伏逆变器生产的公司,公司的业务主要集中在光伏的分布式能源领域,业务以每年50%的增长率快速爆发,光伏能源前景一片大好。


目前,该客户想要对自身分布式的光伏发电进行管理并提供一定的增值服务,比如:家庭电量合理利用控制,手机app展现发电量预测图。这一切的实现都要依赖于对光伏发电功率的预测。


客户目前已经采集了很多电站的数据,包括逆变器的电压、电流、功率以及电站周围的环境数据(太阳辐射、温度、风速等)。我们基于客户采集的数据进行数据处理,建立预测算法模型、并对模型进行训练、评估,希望最终实现客户诉求。


因为客户的系统和数据都是在阿里云上,所以我们采用的方案为 “ 数加+机器学习平台+Quick BI ” 

 

  光伏发电功率预测结构图


根据我们做过的一些光伏行业的预测案列,我们整理出来关于发电功率预测的流程图如下:


e0a0770fd6b562577a662c44dbc7eb012be8d317



  算法模型构建


阿里云的机器学习平台提供了很多优秀的组件可供选择,开发同学只要通过拖拽的方式便可以进行算法模型的建立、训练以及评估。机器学习平台沉淀了诸多阿里集团内部优秀的算法,开发者可以基于该平台,快速构建算法模型。



e1cdb0541bb3f5bcc0528a5e3b65ede28906cfde

7bef39d236403f2652f2cacb89562f1968585bff


  预测效果


机器学习平台提供了算法模型的评估模块,我们可以对训练的算法模型进行评估。

f345a14d116a533f1a68ba3e47933c0d876f2257



将预测结果导入BI系统中看预测结果的拟合效果:


d2239d7f2440ca072ca70f7afe22d4fea152ff7f

04  项目意义


随着污染越来越严重,发展“新能源”已经上升为国家战略,未来将是一个新能源时代。分布式电源未来会走进千家万户,通过基于功率数据进行发电功率预测,可以为客户提供更多的增值服务,拥抱电力市场化的大环境。


如何精准预测光伏发电也将是业界一个重要的课题,欢迎大家和袋鼠云一起探索新能源时代的新思路、新方法。


 文章转自袋鼠云公众号


相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
【MM2024】阿里云 PAI 团队图像编辑算法论文入选 MM2024
阿里云人工智能平台 PAI 团队发表的图像编辑算法论文在 MM2024 上正式亮相发表。ACM MM(ACM国际多媒体会议)是国际多媒体领域的顶级会议,旨在为研究人员、工程师和行业专家提供一个交流平台,以展示在多媒体领域的最新研究成果、技术进展和应用案例。其主题涵盖了图像处理、视频分析、音频处理、社交媒体和多媒体系统等广泛领域。此次入选标志着阿里云人工智能平台 PAI 在图像编辑算法方面的研究获得了学术界的充分认可。
【MM2024】阿里云 PAI 团队图像编辑算法论文入选 MM2024
|
19天前
|
分布式计算 Java 开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景,随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码,发现使用的`nativeBooster.saveModel`方法不支持OSS路径,而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令,帮助用户顺利迁移模型存储路径。
|
2月前
|
机器学习/深度学习 人工智能 算法
【新闻文本分类识别系统】Python+卷积神经网络算法+人工智能+深度学习+计算机毕设项目+Django网页界面平台
文本分类识别系统。本系统使用Python作为主要开发语言,首先收集了10种中文文本数据集("体育类", "财经类", "房产类", "家居类", "教育类", "科技类", "时尚类", "时政类", "游戏类", "娱乐类"),然后基于TensorFlow搭建CNN卷积神经网络算法模型。通过对数据集进行多轮迭代训练,最后得到一个识别精度较高的模型,并保存为本地的h5格式。然后使用Django开发Web网页端操作界面,实现用户上传一段文本识别其所属的类别。
91 1
【新闻文本分类识别系统】Python+卷积神经网络算法+人工智能+深度学习+计算机毕设项目+Django网页界面平台
|
2月前
|
机器学习/深度学习 人工智能 算法
【果蔬识别系统】Python+卷积神经网络算法+人工智能+深度学习+计算机毕设项目+Django网页界面平台
【果蔬识别系统】Python+卷积神经网络算法+人工智能+深度学习+计算机毕设项目+Django网页界面平台。果蔬识别系统,本系统使用Python作为主要开发语言,通过收集了12种常见的水果和蔬菜('土豆', '圣女果', '大白菜', '大葱', '梨', '胡萝卜', '芒果', '苹果', '西红柿', '韭菜', '香蕉', '黄瓜'),然后基于TensorFlow库搭建CNN卷积神经网络算法模型,然后对数据集进行训练,最后得到一个识别精度较高的算法模型,然后将其保存为h5格式的本地文件方便后期调用。再使用Django框架搭建Web网页平台操作界面,实现用户上传一张果蔬图片识别其名称。
55 0
【果蔬识别系统】Python+卷积神经网络算法+人工智能+深度学习+计算机毕设项目+Django网页界面平台
|
3月前
|
存储 SQL 消息中间件
B端算法实践问题之设计一套实时平台能力如何解决
B端算法实践问题之设计一套实时平台能力如何解决
40 1
|
3月前
|
编解码 算法 Linux
Linux平台下RTSP|RTMP播放器如何跟python交互投递RGB数据供视觉算法分析
在对接Linux平台的RTSP播放模块时,需将播放数据同时提供给Python进行视觉算法分析。技术实现上,可在播放时通过回调函数获取视频帧数据,并以RGB32格式输出。利用`SetVideoFrameCallBackV2`接口设定缩放后的视频帧回调,以满足算法所需的分辨率。回调函数中,每收到一帧数据即保存为bitmap文件。Python端只需读取指定文件夹中的bitmap文件,即可进行视频数据的分析处理。此方案简单有效,但应注意控制输出的bitmap文件数量以避免内存占用过高。
|
3月前
|
算法 芯片
基于MPPT最大功率跟踪算法的光伏并网发电系统simulink仿真
本项目采用Simulink仿真构建基于MPPT的最大功率跟踪光伏并网发电系统,自行建立PV模型而非使用内置模块。系统包含MPPT控制器、PI控制器、锁相环及逆变器等,实现光伏阵列在各种条件下高效运行于最大功率点。仿真结果显示光伏并网输出的电流(Ipv)、电压(Upv)及功率(Ppv)波形。通过闭环控制,系统持续调整以维持最佳功率输出,有效提升光伏系统的整体效能和环境适应性。
|
4月前
|
机器学习/深度学习 人工智能 自然语言处理
|
5月前
|
分布式计算 算法 Java
阿里云ODPS PySpark任务使用mmlspark/synapseml运行LightGBM进行Boosting算法的高效训练与推理
阿里云ODPS PySpark任务使用mmlspark/synapseml运行LightGBM进行Boosting算法的高效训练与推理
|
5月前
|
机器学习/深度学习 人工智能 自然语言处理
【CVPR2024】阿里云人工智能平台PAI图像编辑算法论文入选CVPR2024
近期,阿里云人工智能平台PAI发表的图像编辑算法论文在CVPR-2024上正式亮相发表。论文成果是阿里云与华南理工大学贾奎教授领衔的团队共同研发。此次入选标志着阿里云人工智能平台PAI自主研发的图像编辑算法达到了先进水平,赢得了国际学术界的认可。在阿里云人工智能平台PAI算法团队和华南理工大学的老师学生们一同的坚持和热情下,将阿里云在图像生成与编辑领域的先进理念得以通过学术论文和会议的形式,向业界传递和展现。