2022云栖精选—云上电力信息数据采集与处理

简介: 摘要:本文整理自阿里云电力行业高级解决方案架构师姜洺,在云栖大会的分享。本篇内容主要分为三个部分:1. 新型电力系统下数据处理上云需求2. 云上电力信息数据处理核心技术和实践3. 电力信息数据处理上云核心优势

lQLPJxbcF2cqNBvMiM0FeLCMz4ifcSGHeANpqgFLAEAA_1400_136.png

一、新型电力系统下数据处理上云需求

 

image.png

 

2020年我国全社会碳排放约106亿吨,其中电力行业碳排放约46亿吨,工业领域碳排放约43亿吨。实现双碳目标,电力行业是重中之重。

 

根据《中国2030年前碳达峰研究报告》,在双碳背景下,中国一次能源消费中,清洁能源占比在2030年要达到41%2060年要达到90%

 

image.png

 

国网公司发布《构建以新能源为主体的新型电力系统行动方案》,给出“电碳并重,控制系统与信息系统并举,全面提升电网可观测、可描述、可控制,构建数字化透明电网”的要求,并形成《新型电力系统数字技术支撑体系框架设计》,并开始基于云平台、数据中台、物联网平台等基础构建企业级实时量测中心,实时汇聚电网各环节电、非电和碳采集量测数据。支撑各专业高速共享应用,提升电网可观测、可描述、可控制能力,服务公司新型电力系统建设。

 

image.png

 

目前,发电侧的新型能源和分布式能源呈爆发式增长;用户测的电动汽车、家用电动智能化的全面普及;电力交易市场和电力辅助市场不断完善、趋于成熟。

 

面对目前电力市场的新需求,需要新技术具有更加末端,更加全面的数据处理能力,有效支撑新的业务场景。

 

比如虚拟电厂、分布式光伏群调群控、新能源波动、微小能源主体的预测、以及电力交易的实时交易、竞价决策机制等。上述场景都需要一套全新的数据数据处理方案。

 

二、云上电力信息数据处理核心技术和实践

 

image.png

 

如上图所示,以用电信息数据采集场景为例。用电信息数据采集是电网数据处理量较大的场景之一。一个有2500万用户规模的中等网省,每天的日冻结数据有2500万条,一个月有7.5亿条数据。如果全量采集用户的曲线数据,每天的数据量就达到25亿条,每月有750亿条数据。

 

传统方案完全依赖Oracle,用采相关的数据采集入库,电量分析计算,多表关联查询,采集数据存储等几乎所有业务都基于Oracle构建,只能保障基本的业务处理需求,不能提升局部的性能。也就导致整个数据采集完整性,数量,频率,计算场景都受限。

 

由于Oracle只是大型关系型数据库,不支持实时计算,没有实时处理能力;不擅长海量数据的快速入库,不擅长海量数据的在线分析查询等,入库数据时间,数据计算时间,数据分析等功能和性能。

 

所以传统方案无法实现实时处理场景,如实时较核,实时判断电表飞走,盗走等。当全量数据采集后,如居民用户所有15分钟数据,1分钟级曲线数据无法支撑。如果加入曲线数据,按照月的冻结数据的一些分析无法实现。除此之外,传统方案还存在关联查询慢,无法支撑用户电量,用电类型等在线分析场景。

 

image.png

 

为了解决上述问题,阿里云推出了全面综合的上云数据处理方案,根据采集的场景和需求,针对数据采集、数据存储、数据计算、数据分析、查询等每一个场景提供最佳的解决方案,保障每一个环节的最佳性能。

 

阿里云通过PolarDB实现Oracle的工单事务处理能力,基于PoLarDB完善的Oracle语法兼容体系,保障基于Oracle的应用无缝迁移,解决了去Oracle挑战。

 

阿里云通过通过实时数仓技术实现百亿级的多表关联查询,实现高并发写入能力,解决传统架构和开源架构无法解决的问题。

 

image.png

 

以用电信息数据为例,充分利用阿里云大数据处理组件,人工智能等能力,建设完成一套具备分布式。云化的先进实时离线的数据处理平台,具备微服务构建支撑,海量数据分析和处理。流批一体化架构基于交互式分析引擎,构建实时数据仓库等能力。

 

在数据集成区,阿里云通过构建异构数据集成区,使用不同的数据集成工具,实现了不同种类的数据类型到云上的无缝集成或ETL

 

其次,阿里云基于流式处理和实时数仓技术,构建了实时流批一体处理区。解决了电力数据的在线处理、高实时处理、高并发处理等场景。

 

除此之外,用电数据可以基于云上的高弹性、无缝升级、高可靠等特点,保障核心业务系统生产的稳定运行。

 

image.png

 

用采系统上云后,通过阿里云的分布式架构弹性架构、实时数据仓库、流批一体化等处理技术,实现分钟级数据采集和实时电量计算。数据处理效率提升了8倍,成本降低了50%

 

image.png

 

在调度预测场景下,数据通过人工智能的加持。人工智能预测相比普通人预测,精准度提升了3%。数据基于云上处理之后,可以触达到末端,从而支撑虚拟电厂的竞价交易。对于居民用户的需求响应,用电计划,可以深入每个家庭,为新的业务场景带来了可能。

 

三、电力信息数据处理上云核心优势

 

image.png

 

云上电力信息数据处理的核心优势,分布式架构可以在系统的每个环节给予最优方案。比如云上的大数据处理组件技术,可以实现实时离线一体化、湖仓一体化、流批一体化、以及大数据AI一体化。


其次,通过云上各个组件的无缝的协同,可以极大提升数据处理应用的效率。因为云组件都是统一构建,所以只需要简单配置就可以实现程序运维。第三,云上可以提供一整套全场景的数据处理服务,大幅提升开发者的使用体验。

 

image.png

 

当数据上云之后,不仅使用云上组件,而且使用平台级、高可靠的容灾服务。与此同时,云上的弹性扩容、升级可以提供更高的保障,更好的支撑核心生产应用系统的运行。

 

image.png

 

阿里云跨域计算能力,成功解决了全局计算协同挑战。阿里云将物理分散的跨地域多集群,打造成一个超大规模的一体化大数据平台,提供统一的数据、元数据、存储计算资源和管控能力的服务,通过使用跨域调度计算而非拖动数据,实现在电力数据统一汇总后搬计算、不搬数据的协同能力。

lQLPJxbcF2cqM2TM-M0CnrCgW_7LDpyh1wNpqgFKAPsA_670_248.png

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
存储 运维 数据安全/隐私保护
企业级备份软件Veritas NetBackup(NBU) 8.1.1服务端的安装部署
企业级备份软件Veritas NetBackup(NBU) 8.1.1服务端的安装部署
3564 0
企业级备份软件Veritas NetBackup(NBU) 8.1.1服务端的安装部署
|
数据安全/隐私保护 开发者 UED
HarmonyOSNext华为账号一键登录:3秒完成登录的黑科技!
HarmonyOS Next华为账号一键登录,基于OAuth 2.0协议,实现3秒极速登录,支持UnionID与真实手机号获取,提升用户体验并简化开发者用户体系搭建。适用于教育科普行业学习参考。
1097 0
|
人工智能 搜索推荐 小程序
时光有节,岁月有气,用 CodeBuddy + 地图 MCP 构建二十四节气
二十四节气作为中国古老智慧的结晶,不仅指导农耕生活,更蕴含深厚文化意义。文章以“小满”为例,解读其象征的生活哲学,并探讨如何借助现代科技如CodeBuddy,将这一传统时间体系融入日常生活。通过制作“二十四节气速查表”,结合天气API和地图功能,让节气焕发新生,成为连接自然与生活的桥梁。这不仅是对文化遗产的传承,更是对传统文化的创新表达。
|
人工智能 数据可视化 前端开发
Probly:开源 AI Excel表格工具,交互式生成数据分析结果与可视化图表
Probly 是一款结合电子表格功能与 Python 数据分析能力的 AI 工具,支持在浏览器中运行 Python 代码,提供交互式电子表格、数据可视化和智能分析建议,适合需要强大数据分析功能又希望操作简便的用户。
1942 2
|
机器学习/深度学习 存储 人工智能
【AI 初识】人工智能中使用了哪些不同的搜索算法?
【5月更文挑战第2天】【AI 初识】人工智能中使用了哪些不同的搜索算法?
|
人工智能 供应链 搜索推荐
如何降低酒店运营成本?管理者不可不知的优化策略
在竞争激烈的酒店行业,提升管理效率、优化服务质量和客户满意度至关重要。本文探讨如何通过精准市场定位、高效运营管理、智能化管理系统及数字化工具,实现精细化管理,提供个性化服务,有效处理客户反馈,以提升酒店竞争力和客户体验。未来,智能化与个性化将成为行业发展的重要趋势。
926 21
|
运维 Dubbo Java
Serverless与微服务(下)
微服务架构,主要是中间层分解,将系统拆分成很多小应用(微服务),微服务可以部署在不同的服务器上,也可以部署在相同的服务器不同的容器上。当应用的故障不会影响到其他应用,单应用的负载也不会影响到其他应用,其代表框架有Spring cloud、Dubbo等。
915 0
Serverless与微服务(下)
|
JavaScript 前端开发
我为展开收起功能做了动画,被老板称赞!
【8月更文挑战第23天】我为展开收起功能做了动画,被老板称赞!
810 1
我为展开收起功能做了动画,被老板称赞!
|
存储 移动开发 编解码
基于HTML5开发的Markdown在线编辑器
Markdown是一种轻量级标记语言,以其简洁易读的格式而备受程序员和作者们的青睐。随着互联网的发展,越来越多的在线Markdown编辑器应运而生,为用户提供了更加便捷、高效的写作和编辑环境。本文将探讨基于HTML5开发的Markdown在线编辑器的设计原理、功能特点以及技术优势。
523 1
基于HTML5开发的Markdown在线编辑器
|
安全 小程序 Java
基于Java医院门诊互联电子病历管理信息系统设计和实现(源码+LW+调试文档+讲解等)
基于Java医院门诊互联电子病历管理信息系统设计和实现(源码+LW+调试文档+讲解等)