2022云栖精选—云上电力信息数据采集与处理

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 摘要:本文整理自阿里云电力行业高级解决方案架构师姜洺,在云栖大会的分享。本篇内容主要分为三个部分:1. 新型电力系统下数据处理上云需求2. 云上电力信息数据处理核心技术和实践3. 电力信息数据处理上云核心优势

lQLPJxbcF2cqNBvMiM0FeLCMz4ifcSGHeANpqgFLAEAA_1400_136.png

一、新型电力系统下数据处理上云需求

 

image.png

 

2020年我国全社会碳排放约106亿吨,其中电力行业碳排放约46亿吨,工业领域碳排放约43亿吨。实现双碳目标,电力行业是重中之重。

 

根据《中国2030年前碳达峰研究报告》,在双碳背景下,中国一次能源消费中,清洁能源占比在2030年要达到41%2060年要达到90%

 

image.png

 

国网公司发布《构建以新能源为主体的新型电力系统行动方案》,给出“电碳并重,控制系统与信息系统并举,全面提升电网可观测、可描述、可控制,构建数字化透明电网”的要求,并形成《新型电力系统数字技术支撑体系框架设计》,并开始基于云平台、数据中台、物联网平台等基础构建企业级实时量测中心,实时汇聚电网各环节电、非电和碳采集量测数据。支撑各专业高速共享应用,提升电网可观测、可描述、可控制能力,服务公司新型电力系统建设。

 

image.png

 

目前,发电侧的新型能源和分布式能源呈爆发式增长;用户测的电动汽车、家用电动智能化的全面普及;电力交易市场和电力辅助市场不断完善、趋于成熟。

 

面对目前电力市场的新需求,需要新技术具有更加末端,更加全面的数据处理能力,有效支撑新的业务场景。

 

比如虚拟电厂、分布式光伏群调群控、新能源波动、微小能源主体的预测、以及电力交易的实时交易、竞价决策机制等。上述场景都需要一套全新的数据数据处理方案。

 

二、云上电力信息数据处理核心技术和实践

 

image.png

 

如上图所示,以用电信息数据采集场景为例。用电信息数据采集是电网数据处理量较大的场景之一。一个有2500万用户规模的中等网省,每天的日冻结数据有2500万条,一个月有7.5亿条数据。如果全量采集用户的曲线数据,每天的数据量就达到25亿条,每月有750亿条数据。

 

传统方案完全依赖Oracle,用采相关的数据采集入库,电量分析计算,多表关联查询,采集数据存储等几乎所有业务都基于Oracle构建,只能保障基本的业务处理需求,不能提升局部的性能。也就导致整个数据采集完整性,数量,频率,计算场景都受限。

 

由于Oracle只是大型关系型数据库,不支持实时计算,没有实时处理能力;不擅长海量数据的快速入库,不擅长海量数据的在线分析查询等,入库数据时间,数据计算时间,数据分析等功能和性能。

 

所以传统方案无法实现实时处理场景,如实时较核,实时判断电表飞走,盗走等。当全量数据采集后,如居民用户所有15分钟数据,1分钟级曲线数据无法支撑。如果加入曲线数据,按照月的冻结数据的一些分析无法实现。除此之外,传统方案还存在关联查询慢,无法支撑用户电量,用电类型等在线分析场景。

 

image.png

 

为了解决上述问题,阿里云推出了全面综合的上云数据处理方案,根据采集的场景和需求,针对数据采集、数据存储、数据计算、数据分析、查询等每一个场景提供最佳的解决方案,保障每一个环节的最佳性能。

 

阿里云通过PolarDB实现Oracle的工单事务处理能力,基于PoLarDB完善的Oracle语法兼容体系,保障基于Oracle的应用无缝迁移,解决了去Oracle挑战。

 

阿里云通过通过实时数仓技术实现百亿级的多表关联查询,实现高并发写入能力,解决传统架构和开源架构无法解决的问题。

 

image.png

 

以用电信息数据为例,充分利用阿里云大数据处理组件,人工智能等能力,建设完成一套具备分布式。云化的先进实时离线的数据处理平台,具备微服务构建支撑,海量数据分析和处理。流批一体化架构基于交互式分析引擎,构建实时数据仓库等能力。

 

在数据集成区,阿里云通过构建异构数据集成区,使用不同的数据集成工具,实现了不同种类的数据类型到云上的无缝集成或ETL

 

其次,阿里云基于流式处理和实时数仓技术,构建了实时流批一体处理区。解决了电力数据的在线处理、高实时处理、高并发处理等场景。

 

除此之外,用电数据可以基于云上的高弹性、无缝升级、高可靠等特点,保障核心业务系统生产的稳定运行。

 

image.png

 

用采系统上云后,通过阿里云的分布式架构弹性架构、实时数据仓库、流批一体化等处理技术,实现分钟级数据采集和实时电量计算。数据处理效率提升了8倍,成本降低了50%

 

image.png

 

在调度预测场景下,数据通过人工智能的加持。人工智能预测相比普通人预测,精准度提升了3%。数据基于云上处理之后,可以触达到末端,从而支撑虚拟电厂的竞价交易。对于居民用户的需求响应,用电计划,可以深入每个家庭,为新的业务场景带来了可能。

 

三、电力信息数据处理上云核心优势

 

image.png

 

云上电力信息数据处理的核心优势,分布式架构可以在系统的每个环节给予最优方案。比如云上的大数据处理组件技术,可以实现实时离线一体化、湖仓一体化、流批一体化、以及大数据AI一体化。


其次,通过云上各个组件的无缝的协同,可以极大提升数据处理应用的效率。因为云组件都是统一构建,所以只需要简单配置就可以实现程序运维。第三,云上可以提供一整套全场景的数据处理服务,大幅提升开发者的使用体验。

 

image.png

 

当数据上云之后,不仅使用云上组件,而且使用平台级、高可靠的容灾服务。与此同时,云上的弹性扩容、升级可以提供更高的保障,更好的支撑核心生产应用系统的运行。

 

image.png

 

阿里云跨域计算能力,成功解决了全局计算协同挑战。阿里云将物理分散的跨地域多集群,打造成一个超大规模的一体化大数据平台,提供统一的数据、元数据、存储计算资源和管控能力的服务,通过使用跨域调度计算而非拖动数据,实现在电力数据统一汇总后搬计算、不搬数据的协同能力。

lQLPJxbcF2cqM2TM-M0CnrCgW_7LDpyh1wNpqgFKAPsA_670_248.png

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
新零售 人工智能 安全
云上未来,数智导航:阿里云研究院报告合集
阿里云研究院,甄选了2021-2022年度的10份重磅报告,分别从数字经济、行业转型、数字县域等领域,尝试解读、并推动各行各业的转型升级,展望中国数字经济的未来,迎接数字经济发展的春天。
云上未来,数智导航:阿里云研究院报告合集
|
7月前
|
存储 人工智能 文件存储
云栖速递,面向大规模数据智能的阿里云存储创新
云栖速递:面向大规模数据智能的阿里云存储创新
1500 2
云栖速递,面向大规模数据智能的阿里云存储创新
|
人工智能 编解码 监控
基于智能远程监考方案,云上组考打造考试新范式 原创 阿里云视频云 业务资讯 今天 10:52 阅读数 53
在等级考试场景,智能远程监考方案支持一站式打造考试系统,提供全流程考试服务保障,在实现业务功能灵活定制的同时,确保青少年人工智能编程水平测试万无一失的可靠。
284 0
《阿里云产品手册2022-2023 版》——交通云控平台
《阿里云产品手册2022-2023 版》——交通云控平台
130 0
|
运维 新能源 数据处理
2022云栖精选—《云上新型电力系统白皮书》发布
摘要:本文整理自阿里云智能电力行业总经理吴明宸,在云栖大会的分享。本篇内容主要分为两个部分: 1. 白皮书发布背景 2. 白皮书内容简介
2022云栖精选—《云上新型电力系统白皮书》发布
|
存储 运维 分布式计算
|
大数据
《汇众智联—工业大数据的采集、清洗和组织》电子版地址
汇众智联—工业大数据的采集、清洗和组织
67 0
《汇众智联—工业大数据的采集、清洗和组织》电子版地址
|
Prometheus 运维 监控
|
监控 数据可视化 安全
全球疫情实时监控——约翰斯·霍普金斯大学数据大屏实现方案
全球疫情实时监控——约翰斯·霍普金斯大学数据大屏实现方案
494 0
全球疫情实时监控——约翰斯·霍普金斯大学数据大屏实现方案
|
存储 运维 监控
云栖百城汇—运维理想中的数据化,云掣实现了!
2020年9月17日,由杭州云掣科技有限公司携手阿里云,联合举办的云栖百城汇·智能运维·云掣MSP专场在杭州市西溪宾馆顺利召开。 本次大会以“数据智能,智能运维”为主题,汇聚了百余位来自金融、零售、制造、能源、医疗等多个行业的领袖,重量级嘉宾在现场进行精彩分享和多元碰撞,共同探讨数字经济下企业云化转型以及数据化运维的新趋势。
825 0
云栖百城汇—运维理想中的数据化,云掣实现了!