2022云栖精选—云上电力信息数据采集与处理

简介: 摘要:本文整理自阿里云电力行业高级解决方案架构师姜洺,在云栖大会的分享。本篇内容主要分为三个部分:1. 新型电力系统下数据处理上云需求2. 云上电力信息数据处理核心技术和实践3. 电力信息数据处理上云核心优势

lQLPJxbcF2cqNBvMiM0FeLCMz4ifcSGHeANpqgFLAEAA_1400_136.png

一、新型电力系统下数据处理上云需求

 

image.png

 

2020年我国全社会碳排放约106亿吨,其中电力行业碳排放约46亿吨,工业领域碳排放约43亿吨。实现双碳目标,电力行业是重中之重。

 

根据《中国2030年前碳达峰研究报告》,在双碳背景下,中国一次能源消费中,清洁能源占比在2030年要达到41%2060年要达到90%

 

image.png

 

国网公司发布《构建以新能源为主体的新型电力系统行动方案》,给出“电碳并重,控制系统与信息系统并举,全面提升电网可观测、可描述、可控制,构建数字化透明电网”的要求,并形成《新型电力系统数字技术支撑体系框架设计》,并开始基于云平台、数据中台、物联网平台等基础构建企业级实时量测中心,实时汇聚电网各环节电、非电和碳采集量测数据。支撑各专业高速共享应用,提升电网可观测、可描述、可控制能力,服务公司新型电力系统建设。

 

image.png

 

目前,发电侧的新型能源和分布式能源呈爆发式增长;用户测的电动汽车、家用电动智能化的全面普及;电力交易市场和电力辅助市场不断完善、趋于成熟。

 

面对目前电力市场的新需求,需要新技术具有更加末端,更加全面的数据处理能力,有效支撑新的业务场景。

 

比如虚拟电厂、分布式光伏群调群控、新能源波动、微小能源主体的预测、以及电力交易的实时交易、竞价决策机制等。上述场景都需要一套全新的数据数据处理方案。

 

二、云上电力信息数据处理核心技术和实践

 

image.png

 

如上图所示,以用电信息数据采集场景为例。用电信息数据采集是电网数据处理量较大的场景之一。一个有2500万用户规模的中等网省,每天的日冻结数据有2500万条,一个月有7.5亿条数据。如果全量采集用户的曲线数据,每天的数据量就达到25亿条,每月有750亿条数据。

 

传统方案完全依赖Oracle,用采相关的数据采集入库,电量分析计算,多表关联查询,采集数据存储等几乎所有业务都基于Oracle构建,只能保障基本的业务处理需求,不能提升局部的性能。也就导致整个数据采集完整性,数量,频率,计算场景都受限。

 

由于Oracle只是大型关系型数据库,不支持实时计算,没有实时处理能力;不擅长海量数据的快速入库,不擅长海量数据的在线分析查询等,入库数据时间,数据计算时间,数据分析等功能和性能。

 

所以传统方案无法实现实时处理场景,如实时较核,实时判断电表飞走,盗走等。当全量数据采集后,如居民用户所有15分钟数据,1分钟级曲线数据无法支撑。如果加入曲线数据,按照月的冻结数据的一些分析无法实现。除此之外,传统方案还存在关联查询慢,无法支撑用户电量,用电类型等在线分析场景。

 

image.png

 

为了解决上述问题,阿里云推出了全面综合的上云数据处理方案,根据采集的场景和需求,针对数据采集、数据存储、数据计算、数据分析、查询等每一个场景提供最佳的解决方案,保障每一个环节的最佳性能。

 

阿里云通过PolarDB实现Oracle的工单事务处理能力,基于PoLarDB完善的Oracle语法兼容体系,保障基于Oracle的应用无缝迁移,解决了去Oracle挑战。

 

阿里云通过通过实时数仓技术实现百亿级的多表关联查询,实现高并发写入能力,解决传统架构和开源架构无法解决的问题。

 

image.png

 

以用电信息数据为例,充分利用阿里云大数据处理组件,人工智能等能力,建设完成一套具备分布式。云化的先进实时离线的数据处理平台,具备微服务构建支撑,海量数据分析和处理。流批一体化架构基于交互式分析引擎,构建实时数据仓库等能力。

 

在数据集成区,阿里云通过构建异构数据集成区,使用不同的数据集成工具,实现了不同种类的数据类型到云上的无缝集成或ETL

 

其次,阿里云基于流式处理和实时数仓技术,构建了实时流批一体处理区。解决了电力数据的在线处理、高实时处理、高并发处理等场景。

 

除此之外,用电数据可以基于云上的高弹性、无缝升级、高可靠等特点,保障核心业务系统生产的稳定运行。

 

image.png

 

用采系统上云后,通过阿里云的分布式架构弹性架构、实时数据仓库、流批一体化等处理技术,实现分钟级数据采集和实时电量计算。数据处理效率提升了8倍,成本降低了50%

 

image.png

 

在调度预测场景下,数据通过人工智能的加持。人工智能预测相比普通人预测,精准度提升了3%。数据基于云上处理之后,可以触达到末端,从而支撑虚拟电厂的竞价交易。对于居民用户的需求响应,用电计划,可以深入每个家庭,为新的业务场景带来了可能。

 

三、电力信息数据处理上云核心优势

 

image.png

 

云上电力信息数据处理的核心优势,分布式架构可以在系统的每个环节给予最优方案。比如云上的大数据处理组件技术,可以实现实时离线一体化、湖仓一体化、流批一体化、以及大数据AI一体化。


其次,通过云上各个组件的无缝的协同,可以极大提升数据处理应用的效率。因为云组件都是统一构建,所以只需要简单配置就可以实现程序运维。第三,云上可以提供一整套全场景的数据处理服务,大幅提升开发者的使用体验。

 

image.png

 

当数据上云之后,不仅使用云上组件,而且使用平台级、高可靠的容灾服务。与此同时,云上的弹性扩容、升级可以提供更高的保障,更好的支撑核心生产应用系统的运行。

 

image.png

 

阿里云跨域计算能力,成功解决了全局计算协同挑战。阿里云将物理分散的跨地域多集群,打造成一个超大规模的一体化大数据平台,提供统一的数据、元数据、存储计算资源和管控能力的服务,通过使用跨域调度计算而非拖动数据,实现在电力数据统一汇总后搬计算、不搬数据的协同能力。

lQLPJxbcF2cqM2TM-M0CnrCgW_7LDpyh1wNpqgFKAPsA_670_248.png

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
4月前
|
存储 人工智能 文件存储
云栖速递,面向大规模数据智能的阿里云存储创新
云栖速递:面向大规模数据智能的阿里云存储创新
694 2
云栖速递,面向大规模数据智能的阿里云存储创新
|
4月前
电子好书发您分享《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》
电子好书发您分享《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》
85 1
|
大数据 调度
《大数据在物流行业应用突破——大规模云上调度实践》电子版地址
大数据在物流行业应用突破——大规模云上调度实践
54 0
《大数据在物流行业应用突破——大规模云上调度实践》电子版地址
|
运维 新能源 数据处理
2022云栖精选—《云上新型电力系统白皮书》发布
摘要:本文整理自阿里云智能电力行业总经理吴明宸,在云栖大会的分享。本篇内容主要分为两个部分: 1. 白皮书发布背景 2. 白皮书内容简介
2022云栖精选—《云上新型电力系统白皮书》发布
|
分布式计算 MaxCompute
《基于MaxCompute构建Noxmobi全球化精准营销系统_多点_杨洋》电子版地址
基于MaxCompute构建Noxmobi全球化精准营销系统_多点_杨洋
69 0
《基于MaxCompute构建Noxmobi全球化精准营销系统_多点_杨洋》电子版地址
|
Prometheus 运维 监控
|
Cloud Native 数据管理 OLAP
|
运维 Prometheus 监控
【云栖号案例 | 教育与科研机构】比邻东方上云 从零开始完成压测和监控高可用体系建设
比邻东方在活动期间有流量压力,需要保证主流程的可用性及系统的稳定性。通过PTS压测确认系统基线能吞吐多少,配置限流阈值保障系统稳定。
|
传感器 人工智能 城市大脑
【云栖号案例 | 物联网&人工智能】云栖小镇上云 如何解决城市停车“老大难”?
云栖小镇通过先离场、后付费、全域时空调度算法,实现停车位数据全接入、打通路面监控系统,自动识别违停情况,提升车位的利用率和车主的出行体验。
【云栖号案例 | 物联网&人工智能】云栖小镇上云 如何解决城市停车“老大难”?
|
存储 编解码 分布式计算
【云栖号案例 | 医疗健康】华大基因上云 打造精准医疗应用云平台日志方案
基因数据产生的体量越来越大,超出了原有计算能力所能支持的范围。通过使用Maxcompute加速对人群结构的分析速度的进展,计算成本大幅降低至1000美金以内。
【云栖号案例 | 医疗健康】华大基因上云 打造精准医疗应用云平台日志方案