数据野蛮生长,新能源变革如何应对?

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 近年来,在能源变革的大背景下,随着新能源产业的迅猛发展,新能源大数据的提出和应用促使新能源的利用更加高效、合理。本文为2016云栖大会·武汉峰会上有关新能源大数据的分享整理。在数据疯狂增长的当下,如何运用新能源大数据来应对新能源变革?


新能源是指风能、水能、太阳能、生物质能等可循环利用的清洁能源。近年来,在能源变革的大背景下,随着新能源产业的迅猛发展,新能源大数据的提出和应用促使新能源的利用更加高效、合理。

能源变革的时代?

在电力产能相对过剩的背景下,第三次工业革命的到来、能源互联网浪潮的奔涌、大数据应用时代的兴起、电力改革大幕拉开的同时共同促进了能源变革。


从需求侧来看,其关系是多元互补的、分布式的、大规模接入的,尤其是清洁能源的广泛利用、微电网在配电网上已经形成了很多的实际应用,这就导致在需求侧互补的关系越来越明显。我们可以得出结论,能源变革的时代已经来临,并且以非常快速的节奏来与我们实际的生产生活来结合。在这样的一个背景下,整个能源变革有一个很大的出口——能源产业互联网。

 

能源产业互联网的趋势有以下三个方面:新能源技术创新,转化效率持续提升;新能源装备规模量产,度电成本不断下降;用能产能结构发生渐变,新能源汽车、储能、用电恢复增长。总之,随着整个新能源的接入,风电、生物质、光伏发电的发展,整个能源是分布式碎片化的。面对微电网智能化的时代来临,这个场景倒逼着我们整个能源互联网体系的构建。在如此能源产业互联网的背景下,在供给侧和需求侧,用户、设备生产、装备制造等这些交互的数据会产生海量的数据,这些数据是我们需要认真分析研究的,同时我们在应用这些数据时需要考虑它的基础设施、云的安全等问题。

这些海量数据应用到哪些方面呢?

1.政府:大数据对于政府在能源方面的规划、监管,能源的安全,能源政策的制定起到决定性作用。因为整个能源的生产、使用决定了能源政策制定的方向,政府管理能源如此宏大的产业的过程中需要有一个真实客观的参考依据。

2.企业:整个能源产业中,企业参与量是很大的,包括供给侧、生产侧以及能源的利用、电力的输送。企业在做决策或者具体为客户服务打造的时候,这些大数据会起到特别重要的作用。

3.消费者:消费者使用能源将会依据数据来决策,依据市场价格来决定,合理调配用能计划,大数据会与售电服务、用能服务、节能服务紧密结合起来。

通过这三个方面,不难看出数据将会产生巨大的价值。

“十一五”规划后,《可再生能源法》提出,新能源一直翻倍的增长。新能源的大规模使用,给新能源产业带来无限的商机和巨大的挑战,因为整个新能源的并网给予能源带来活力的同时也给电网带来了高难度的管理要求。

数据的野蛮生长!

在大数据背景下,各行各业的数据是以几何级数的速度在增长,呈现如下几个特征:


1.数据体量巨大

2.价值密度低。如何通过强大的机器算法更迅速地完成数据的价值“提纯”成为目前大数据背景下亟待解决的难题。

3.数据类型繁多。结构化数据和非结构化数据都可以采集到,这些多类型的数据对数据的处理能力提出了更高要求。

4.处理速度快。很多电力客户的要求其实是毫秒级的,这对响应速度的要求相对较高。

5.标准滞后。电力信息网络相对封闭,安全等级高,管理严格,数据没有实现分级,相关标准还没有放开,对开数据开展形成较大障碍。

 

在管理数据或者基于数据做客户服务时,东润环能是基于以下几个方面来做的:

作为大数据公司,首先需要构建一个管理数据的机构或者组织。在这方面,首先要有一个信息基础,即我们收回来的数据是能够产生信息的;第二要有标准化的数据管理实践来管理数据;第三是可获得并且可用的洞察力,即从我们自己服务的客户那里回来的数据管理,以及我们外部获得的数据能够使我们的数据中心更加庞大。在理解数据方面,更多的是靠一些分析的技能和工具,将其作为核心专业发展的一种技能。在使用数据方面,作为高层管理,实际上要对数据有深刻的认识,这个在东润环能内部叫做“数据文化”。数据文化在于对数据的理解能不能够上升到战略高度,数据的使用能不能为企业创造价值?

 

自建数据平台是用私有云、公有云还是阿里推出的混合云?每个企业都要根据自己的企业来定制和选用。东润环能专注于S层应用的开发,尤其是基于核心数据的开发,深入地扎根于行业里跟用户探讨应用,而I层和P层交给阿里的团队来进行合作,涉及到涉密信息的数据会放到私有云上。

新能源大数据的云应用分享

东润环能最初是从应用管理系统做起,同时在应用服务端做一些分布式配电网的具体应用系统,之后通过与国家电网公司以及各省网公司做密切的业务合作来帮助发电侧解决新能源并网管理的一些业务系统。

 

东润环能从发电侧通过电网到需求侧打通了一个应用级的信息系统。有了这个数据流向后,相当于积累了一个庞大的数据中心。通过数据中心将这些数据进行挖掘整理之后,发现这些数据对于投资机构、政府的监管部门还有产业金融机构都有很好的作用,之后将这些数据做成了专业的城市规划的项目,包括风险防控的项目来提供给政府和产业机构来使用。


之后,东润环能又对自己的数据进行了挖掘。在新能源方面,将数据挖掘、吸收、消化、整理,给专业的客户做了设备选型、资源评估、电厂运维、金融服务等专业的小型应用。而在电力供需相关的大数据方面,针对电力交易、电厂的效益评估做了专业的应用开发。此外云数据平台监控了全国九百多台电站的运营情况。这些数据的第一个作用是知道公司内部的经营活动。由于服务能力有限,不可能全部进行巡检,所以通过数据分析来获知需要巡检哪些电厂、什么时间去巡检。通过数据结论制定风电场和光伏电站的巡检路线图和时间安排,优化内部的生产经营,降低成本,提高客户的效益和客户满意度;第二,整个新能源的发展是离不开气象的,因为发电的动力是风和光,新能源气象的服务中心是东润环能打造的核心能力之一,通过对环境监测仪、测风塔,包括卫星数据、雷达数据的整合和治理,提炼出适应于新能源的专业指标,这个过程中用到了超能计算、存储资源、大数据的治理和分析。在此基础上,开发出了新能源的营运管控的大数据系统,把国内地理数据的平台、风光资源数据的平台、设备电厂数据的平台、新能源限电的数据平台以及气象服务的平台这五个数据体结合到一起,形成了一个完整的数据基础服务中心来给客户提供专业级的、开放的数据服务。


写在最后

本文根据北京东润环能科技股份有限公司市场总监韩东升2016云栖大会·武汉峰会上演讲整理而成。

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
关系型数据库 数据库 数据安全/隐私保护
PostgreSQL安装和使用教程
PostgreSQL安装和使用教程
851 0
|
3月前
|
运维 前端开发 JavaScript
前端埋点校验工具:数据驱动的最后一道防线
数据埋点是企业决策的关键基础,但常面临覆盖率低、数据不准和故障难排查三大难题。本文深入剖析了这些问题的成因与影响,并提出“三维校验矩阵”解决方案:提升覆盖率至99.8%、降低错误率至0.3%、提速故障定位5倍。同时对比Split.io、Tealium、Sentry、板栗看板等工具优劣,为企业选型提供参考。迈向高质量数据治理,从精准埋点开始。
|
2月前
|
JavaScript 前端开发 Java
前端框架选择之争:jQuery与Vue在现代Web开发中的真实地位-优雅草卓伊凡
前端框架选择之争:jQuery与Vue在现代Web开发中的真实地位-优雅草卓伊凡
316 72
前端框架选择之争:jQuery与Vue在现代Web开发中的真实地位-优雅草卓伊凡
|
6月前
|
人工智能 Kubernetes 安全
生成式AI时代,网络安全公司F5如何重构企业防护体系?
生成式AI时代,网络安全公司F5如何重构企业防护体系?
116 9
|
2月前
|
数据处理 开发工具 开发者
requirement.txt 管理python包依赖
在 Python 项目中,`requirements.txt` 用于记录依赖库及其版本,便于环境复现。本文介绍了多种生成该文件的方法:基础方法使用 `pip freeze`,进阶方法使用 `pipreqs`,专业方法使用 `poetry` 或 `pipenv`,以及手动维护方式。每种方法适用不同场景,涵盖从简单导出到复杂依赖管理,并提供常见问题的解决方案,帮助开发者高效生成精准的依赖列表,确保项目环境一致性。
409 4
|
3月前
|
存储 人工智能 自然语言处理
AI代理内存消耗过大?9种优化策略对比分析
在AI代理系统中,多代理协作虽能提升整体准确性,但真正决定性能的关键因素之一是**内存管理**。随着对话深度和长度的增加,内存消耗呈指数级增长,主要源于历史上下文、工具调用记录、数据库查询结果等组件的持续积累。本文深入探讨了从基础到高级的九种内存优化技术,涵盖顺序存储、滑动窗口、摘要型内存、基于检索的系统、内存增强变换器、分层优化、图形化记忆网络、压缩整合策略以及类操作系统内存管理。通过统一框架下的代码实现与性能评估,分析了每种技术的适用场景与局限性,为构建高效、可扩展的AI代理系统提供了系统性的优化路径和技术参考。
168 4
AI代理内存消耗过大?9种优化策略对比分析
|
12月前
|
消息中间件 SQL 分布式计算
大数据-76 Kafka 高级特性 稳定性-消费重复 生产者、Broker、消费者 导致的重复消费问题
大数据-76 Kafka 高级特性 稳定性-消费重复 生产者、Broker、消费者 导致的重复消费问题
142 1
|
5月前
|
关系型数据库 MySQL Linux
购买阿里云服务器选择应用镜像和系统镜像区别,哪个好?
在阿里云购买服务器时,选择应用镜像还是系统镜像需根据需求与技术能力决定。应用镜像适合快速部署、无需环境配置的场景,如建站或测试;系统镜像则提供更高灵活性,适合自定义开发和企业级服务。两者各有优劣:应用镜像操作简单但版本可能较旧,系统镜像可控性强但需手动配置。建议新手优先使用应用镜像,技术用户可选系统镜像以优化性能。
|
7月前
|
数据采集 运维 监控
数据采集监控与告警:错误重试、日志分析与自动化运维
本文探讨了数据采集技术从“简单采集”到自动化运维的演进。传统方式因反爬策略和网络波动常导致数据丢失,而引入错误重试、日志分析与自动化告警机制可显著提升系统稳定性与时效性。正方强调健全监控体系的重要性,反方则担忧复杂化带来的成本与安全风险。未来,结合AI与大数据技术,数据采集将向智能化、全自动方向发展,实现动态调整与智能识别反爬策略,降低人工干预需求。附带的Python示例展示了如何通过代理IP、重试策略及日志记录实现高效的数据采集程序。
306 7
数据采集监控与告警:错误重试、日志分析与自动化运维
|
Java 数据库连接 数据库
告别繁琐 SQL!Hibernate 入门指南带你轻松玩转 ORM,解锁高效数据库操作新姿势
【8月更文挑战第31天】Hibernate 是一款流行的 Java 持久层框架,简化了对象关系映射(ORM)过程,使开发者能以面向对象的方式进行数据持久化操作而无需直接编写 SQL 语句。本文提供 Hibernate 入门指南,介绍核心概念及示例代码,涵盖依赖引入、配置文件设置、实体类定义、工具类构建及基本 CRUD 操作。通过学习,你将掌握使用 Hibernate 简化数据持久化的技巧,为实际项目应用打下基础。
828 0