一、新型电力系统下数据处理上云需求
2020年我国全社会碳排放约106亿吨,其中电力行业碳排放约46亿吨,工业领域碳排放约43亿吨。实现双碳目标,电力行业是重中之重。
根据《中国2030年前碳达峰研究报告》,在双碳背景下,中国一次能源消费中,清洁能源占比在2030年要达到41%,2060年要达到90%。
国网公司发布《构建以新能源为主体的新型电力系统行动方案》,给出“电碳并重,控制系统与信息系统并举,全面提升电网可观测、可描述、可控制,构建数字化透明电网”的要求,并形成《新型电力系统数字技术支撑体系框架设计》,并开始基于云平台、数据中台、物联网平台等基础构建企业级实时量测中心,实时汇聚电网各环节电、非电和碳采集量测数据。支撑各专业高速共享应用,提升电网可观测、可描述、可控制能力,服务公司新型电力系统建设。
目前,发电侧的新型能源和分布式能源呈爆发式增长;用户测的电动汽车、家用电动智能化的全面普及;电力交易市场和电力辅助市场不断完善、趋于成熟。
面对目前电力市场的新需求,需要新技术具有更加末端,更加全面的数据处理能力,有效支撑新的业务场景。
比如虚拟电厂、分布式光伏群调群控、新能源波动、微小能源主体的预测、以及电力交易的实时交易、竞价决策机制等。上述场景都需要一套全新的数据数据处理方案。
二、云上电力信息数据处理核心技术和实践
如上图所示,以用电信息数据采集场景为例。用电信息数据采集是电网数据处理量较大的场景之一。一个有2500万用户规模的中等网省,每天的日冻结数据有2500万条,一个月有7.5亿条数据。如果全量采集用户的曲线数据,每天的数据量就达到25亿条,每月有750亿条数据。
传统方案完全依赖Oracle,用采相关的数据采集入库,电量分析计算,多表关联查询,采集数据存储等几乎所有业务都基于Oracle构建,只能保障基本的业务处理需求,不能提升局部的性能。也就导致整个数据采集完整性,数量,频率,计算场景都受限。
由于Oracle只是大型关系型数据库,不支持实时计算,没有实时处理能力;不擅长海量数据的快速入库,不擅长海量数据的在线分析查询等,入库数据时间,数据计算时间,数据分析等功能和性能。
所以传统方案无法实现实时处理场景,如实时较核,实时判断电表飞走,盗走等。当全量数据采集后,如居民用户所有15分钟数据,1分钟级曲线数据无法支撑。如果加入曲线数据,按照月的冻结数据的一些分析无法实现。除此之外,传统方案还存在关联查询慢,无法支撑用户电量,用电类型等在线分析场景。
为了解决上述问题,阿里云推出了全面综合的上云数据处理方案,根据采集的场景和需求,针对数据采集、数据存储、数据计算、数据分析、查询等每一个场景提供最佳的解决方案,保障每一个环节的最佳性能。
阿里云通过PolarDB实现Oracle的工单事务处理能力,基于PoLarDB完善的Oracle语法兼容体系,保障基于Oracle的应用无缝迁移,解决了去Oracle挑战。
阿里云通过通过实时数仓技术实现百亿级的多表关联查询,实现高并发写入能力,解决传统架构和开源架构无法解决的问题。
以用电信息数据为例,充分利用阿里云大数据处理组件,人工智能等能力,建设完成一套具备分布式。云化的先进实时离线的数据处理平台,具备微服务构建支撑,海量数据分析和处理。流批一体化架构基于交互式分析引擎,构建实时数据仓库等能力。
在数据集成区,阿里云通过构建异构数据集成区,使用不同的数据集成工具,实现了不同种类的数据类型到云上的无缝集成或ETL。
其次,阿里云基于流式处理和实时数仓技术,构建了实时流批一体处理区。解决了电力数据的在线处理、高实时处理、高并发处理等场景。
除此之外,用电数据可以基于云上的高弹性、无缝升级、高可靠等特点,保障核心业务系统生产的稳定运行。
用采系统上云后,通过阿里云的分布式架构弹性架构、实时数据仓库、流批一体化等处理技术,实现分钟级数据采集和实时电量计算。数据处理效率提升了8倍,成本降低了50%。
在调度预测场景下,数据通过人工智能的加持。人工智能预测相比普通人预测,精准度提升了3%。数据基于云上处理之后,可以触达到末端,从而支撑虚拟电厂的竞价交易。对于居民用户的需求响应,用电计划,可以深入每个家庭,为新的业务场景带来了可能。
三、电力信息数据处理上云核心优势
云上电力信息数据处理的核心优势,分布式架构可以在系统的每个环节给予最优方案。比如云上的大数据处理组件技术,可以实现实时离线一体化、湖仓一体化、流批一体化、以及大数据AI一体化。
其次,通过云上各个组件的无缝的协同,可以极大提升数据处理应用的效率。因为云组件都是统一构建,所以只需要简单配置就可以实现程序运维。第三,云上可以提供一整套全场景的数据处理服务,大幅提升开发者的使用体验。
当数据上云之后,不仅使用云上组件,而且使用平台级、高可靠的容灾服务。与此同时,云上的弹性扩容、升级可以提供更高的保障,更好的支撑核心生产应用系统的运行。
阿里云跨域计算能力,成功解决了全局计算协同挑战。阿里云将物理分散的跨地域多集群,打造成一个超大规模的一体化大数据平台,提供统一的数据、元数据、存储计算资源和管控能力的服务,通过使用跨域调度计算而非拖动数据,实现在电力数据统一汇总后搬计算、不搬数据的协同能力。