大数据+AI能与碳中和扯上关系?看这家新能源企业如何操作

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 当 AI 进入落地期,认真思考如何打通大数据与 AI 应用的关联,才是企业眼前既现实、又关键的一大挑战。

微信图片_20211205110208.jpg


2020 年 9 月,中国政府提出了 2060 年前实现碳中和的目标,此后,这一概念的热度节节攀升。「碳达峰」和「碳中和」也正式写进了 2021 年的《政府工作报告》,成为两会期间最热门的议题。


从目前的排放总量来看,中国已是全球碳排放第一大国。处于经济上升期、排放达峰期的现况让我们必须兼顾能源低碳转型和经济转型,统筹考虑约束碳排放和保持社会经济发展增速需求之间的矛盾。为了实现碳中和目标,各行各业,尤其是能源行业,都要付出更多的努力。


原本这些努力,与 IT 行业主导的 AI、大数据等技术或应用似乎是八杆子都打不着的关系。然而,就在能源革命悄悄开启的当下,数字化和智能化的技术驱动力还是悄然浮出了水面。


这两者会产生关联的原因其实很简单——在低碳经济的发展趋势下,以风电、光伏为代表的可再生新能源正在能源格局中扮演越来越重要的角色。来自国家能源局的数据显示,仅 2019 年上半年,全国风电发电量同比增长 11.5%、光伏发电装机量同比增长 20%。


然而,风电、光伏等新能源却很容易受到环境因素的限制:在其生产过程中,风速、风向、日照、气温、气压等环境因素,都会给电力系统带来巨大影响,使发电设备、 并入电网都面临运行效率、设备安全等方面的问题。


在这一特定背景下,功率预测系统的作用显得尤为重要。除能帮助电网调度系统合理调整和优化发电计划,改善电网调峰能力,还能减少弃风和弃光率,是产业真正实现降本增效的基础。


以往,通过历史资料以及人工经验来实施功率预测,往往存在准确率低、波动性大等弊端。因此在这场史无前例的大变革中,人工智能、物联网、云计算等新兴技术注定会成为幕后英雄。以智能化手段来应对以上挑战,也正在成为新能源企业面向未来,领跑绿色能源发展之路的首选。


金风慧能就是其中的领跑者之一。这家新能源数字化、智能化领域的专业服务提供商,结合风机级气象预报、风轨迹模拟等气象预报数据, 以多模型组合的方式构建了用于功率预测的全新智能方案,将预测的准确率提升了 20% 以上。


它的秘诀是什么?


穷则变、变则通、通则久


在大数据和 AI 技术发展的助力下,基于 AI 的智能功率预测其实早就具备了充分的落地条件。但问题是:只单纯依靠海量历史数据样本,并且只采用单一的人工智能算法模型的方法,也早已面临「技穷」的局面,其预测准确率会随着预测时段变长而随之降低。

微信图片_20211205110212.jpg


对于电力生产而言,最常见的超短期预测也要求系统预测 4 小时内的功率输出,这意味着预测系统需要在未来 16 个时间点 (每 15 分钟计为一个时间点) 上都保持出色的预测准确率和稳定性。


穷则思变,金风慧能通过研究和实践发现,在既有智能预测系统中,导入两项技术即可带来改观:


一是导入更多维度、更具价值的数据。传统预测方法是一种「从已有功率数据去预测未来功率」的方案,因此其在时间维度上缺乏必要的数据支撑,而气象预报数据则能有效地弥补这一短板,其时序性数据能令未来各个时间点的预测准确率都保持一致性;


二是为更多维的数据匹配多模型组合的方案,便于根据实际需求选取不同的深度学习或机器学习模型,分别与气象预报数据进行组合,扬长补短。



「牵手」Analytics Zoo, 打通大数据与 AI 应用


有了解决问题的法子,接下来就是思考如何实施。


第一步,要先「打通」大数据平台与 AI 应用,这是打造一个结合海量历史数据与气象预报数据,并以多模型组合方式运行的全新智能功率预测方式所必需的,但要在大量分布式数据节点上打通大数据平台与 AI 模型、框架和优化方法,也不是件容易事儿。为此,金风慧能与英特尔展开了紧密合作。


Analytics Zoo 是英特尔专门针对打通大数据平台与 AI 任务这一挑战开发并开源的解决方案,也是英特尔至强平台在软件和系统级优化上的重要组成部分。它能帮助多数企业用户现在普遍使用的、基于至强处理器的大数据平台上,直接背靠其积累的海量数据无缝部署 AI 应用。这一过程既不需要分别构建大数据平台和 AI 平台,免去将「大吨位」数据在不同平台间腾挪所消耗的高昂成本,也无需更换大数据平台的基础设施。


当然,Analytics Zoo 有很多自己的独特优势:先天就可对基于英特尔 ® 架构的硬件基础设施提供全面周到的性能调优,同时支持 TensorFlow、PyTorch、Keras、BigDL 等多种主流 AI 框架。


基于 Analytics Zoo,构建统一端到端全优化方案


正是基于 Analytics Zoo,金风慧能轻松地将 Spark、TensorFlow、Keras 及其它软件和框架无缝集成到了同一管道中,实现将数据存储、数据处理以及训练推理的流水线整合到统一的基础设施上。如此一来,既可大幅提升新方案的部署效率、资源利用率和可扩展性,还能减少用于硬件管理及系统运维的成本。

下面这张图展示了基于 Analytics Zoo 的分布式功率预测架构:

微信图片_20211205110215.jpg


同时,Analytics Zoo 还能卓有成效地将英特尔提供的众多底层软件加速库,如英特尔 ® 数学核心函数库 (Intel® Math Kernel Library,现名为 oneAPI Math Kernel Library)、面向深度神经网络的英特尔 ® 数学核心函数库 (Intel® Math Kernel Library for Deep Neural Network, 现名为 oneAPI Deep Neural Network Library) 等,应用到上层功率预测方案的优化中去。


「压榨」Analytics Zoo, 强化时序数据分析


除了提供统一的端到端平台架构,Analytics Zoo 对于不同时序分析应用,如时序预测、异常检测、时序表征学习、时序聚类等,也提供了完整的解决方案,便于金风慧能在新方案中构建更多的预测方法组合。


Analytics Zoo 针对时序数据预置了丰富的功能组件,包括功率预测常见的深度学习和机器学习模型(LSTM、Encoder-Decoder、MTNet、ARIMA 等),功率预测中常用的数据预处理和特征工程(Datetime features、 Time diff、Log-transform、Rolling window 等),功率预测中普遍的异常探测方法(Percentile、Distribution- based、Uncertainty based、Autoencoder 等)。  Analytics Zoo 还提供了 AutoML 方法,使新方案实现了自动化特征选择、模型选择和超参调优等,令预测模型得以更好地拟合发电设备输出功率的变化周期。


经过全国多个光伏测试场站的实地测试,在验证方案以月为周期的条件下,每一个测试的光伏场中,在单小时内使用 30000 条记录对 LSTNet 模型进行 5000 次迭代优化,并在 50 毫秒内获得未来 2 小时的功率预测数据。结果显示,新方案在预测准确率上超越了原有方案的 59%,达到了 79.41%。


微信图片_20211205110219.jpg

金风慧能功率预测新旧方案对比。


AI 要实现「软着陆」 大数据支持不能少


金风慧能的一系列操作,从实战角度再次印证了算法、算力、数据三者良性互动的重要性。大数据作为基础资源,为 AI 技术的快速进步和实践落地起到了奠基作用。不难想象,如果没有足够量级、获取和使用足够便捷的数据为算力和算法托底,AI 的落地很可能会演变成鼻青脸肿式的「硬着陆」。


在这种认知的推动下,有越来越多的行业在 AI 应用过程中导入 Analytics Zoo,以无缝对接他们的大数据平台与 AI 应用。例如在智能制造领域,由 Analytics Zoo 提供的端到端 AI 开发与部署能力,就帮助美的构建了高效的工业视觉检测云平台,用以实施产品缺陷检测。


Analytics Zoo 让美的能够在统一的、基于至强处理器的云平台上进行海量数据管理、分布式模型训练、模型重定义及模型推理等一系列 AI 处理流程。在数据采集及预处理优化阶段,Analytics Zoo 能帮助云平台执行高效分布式数据预处理和代码优化,在 50 毫秒内就完成对图片的读取和处理;在海量数据管理阶段,它能助云平台快速进行数据存储、分类以及更新;在分布式模型训练阶段,它一方面可协助云平台构建检测模型,另一方面通过自带的 TF 优化器迅速启动分布式训练过程;在模型重定义阶段,Analytics Zoo 不仅可执行参数调整,并可加速模型推理速度。


这一通连贯的组合拳下来,结果就是美的工业视觉检测云平台的模型推理时间从 2 秒缩短到了 124 毫秒。


MasterCard 和韵达则是金融和物流行业中打通大数据和 AI 应用的先行者,前者利用 Analytics Zoo,在基于至强可扩展处理器的大数据集群上直接开发和运行用于营销推荐场景的深度学习应用,不但避开了采用异构 AI 系统可能会面对的复杂工具集成、昂贵的数据复制和移动,以及更长的项目时间和资源消耗等问题,还实现了更优的精准度和召回率;后者则利用 Analytics Zoo 和英特尔至强平台,以端到端的方式快速敏捷地构建了「大小件测量」、「数据中心异常检测」以及「件量预测」等关键环节的 AI 应用,有效提升了快递物流系统的运作效率,大大降低了人工劳动的强度和人力成本。


在这些行业用户积极尝试 Analytics Zoo 的同时,也有致力于提供成熟商品化解决方案的合作伙伴盯上了它与至强可扩展平台的组合优势——在中国 AI 服务器领域占据了市场及技术优势的浪潮,就于近期推出了融合 Analytics Zoo, 基于浪潮云海大数据平台 insight 的端到端智慧计算解决方案,可以让更多用户快捷、高效、低成本地将大数据预处理、模型的训练和推理与他们现有的大数据工作流整合在一起。


值得一提的是,英特尔也在同期发布了代号为 Ice Lake、面向单路和双路服务器、基于 10 纳米制程工艺生产、拥有更优性能和能效的全新第三代至强可扩展处理器。该处理器可搭配傲腾持久内存 200 系列、傲腾固态盘 P5800X 系列及通信带宽最高达 100Gbps 的以太网 800 系列网络适配器等存储和网络优化型产品,还有包括 Analytics Zoo 在内的多种英特尔软件及系统级优化工具,进而组合成数据计算、存储和传输表现更优、也更为均衡的新一代至强可扩展平台,相信很多用户和合作伙伴基于 Analytics Zoo 的 AI 实践或解决方案,很快就会借此平台实现更优的性能、成本和灵活性收益。


相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
1天前
|
数据采集 人工智能 分布式计算
探索 MaxCompute MaxFrame:AI 数据预处理的高效之选
探索 MaxCompute MaxFrame:AI 数据预处理的高效之选
|
18天前
|
机器学习/深度学习 人工智能 运维
智能化运维:AI与大数据在IT运维中的应用探索####
本文旨在探讨人工智能(AI)与大数据分析技术如何革新传统IT运维模式,提升运维效率与服务质量。通过具体案例分析,揭示AI算法在故障预测、异常检测及自动化修复等方面的实际应用成效,同时阐述大数据如何助力实现精准运维管理,降低运营成本,提升用户体验。文章还将简要讨论实施智能化运维面临的挑战与未来发展趋势,为IT管理者提供决策参考。 ####
|
1月前
|
存储 人工智能 分布式计算
大数据& AI 产品月刊【2024年10月】
大数据& AI 产品技术月刊【2024年10月】,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
|
1月前
|
人工智能 安全 搜索推荐
AI与能源管理:智能电网的未来
本文探讨了AI与智能电网的融合及其对能源管理的深远影响。智能电网利用先进的信息、通信和AI技术,实现电力的自主、智能化、高效管理。AI在精准预测电力需求、实时监测与故障诊断、智能能源调度、个性化能源服务和优化可再生能源利用等方面发挥关键作用,推动能源管理的高效、智能和可持续发展。
|
16天前
|
人工智能 分布式计算 DataWorks
大数据& AI 产品月刊【2024年11月】
大数据& AI 产品技术月刊【2024年11月】,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
|
1月前
|
消息中间件 分布式计算 大数据
数据为王:大数据处理与分析技术在企业决策中的力量
【10月更文挑战第29天】在信息爆炸的时代,大数据处理与分析技术为企业提供了前所未有的洞察力和决策支持。本文探讨了大数据技术在企业决策中的重要性和实际应用,包括数据的力量、实时分析、数据驱动的决策以及数据安全与隐私保护。通过这些技术,企业能够从海量数据中提取有价值的信息,预测市场趋势,优化业务流程,从而在竞争中占据优势。
112 2
|
2月前
|
机器学习/深度学习 人工智能 运维
智能运维:大数据与AI的融合之道###
【10月更文挑战第20天】 运维领域正经历一场静悄悄的变革,大数据与人工智能的深度融合正重塑着传统的运维模式。本文探讨了智能运维如何借助大数据分析和机器学习算法,实现从被动响应到主动预防的转变,提升系统稳定性和效率的同时,降低了运维成本。通过实例解析,揭示智能运维在现代IT架构中的核心价值,为读者提供一份关于未来运维趋势的深刻洞察。 ###
115 10
|
2月前
|
人工智能 分布式计算 大数据
大数据&AI产品月刊【2024年9月】
大数据& AI 产品技术月刊【2024年9月】,涵盖本月技术速递、2024云栖大会实录、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
|
2月前
|
存储 人工智能 供应链
AI与能源系统:优化能源生产和消费
【10月更文挑战第9天】在当前全球能源转型的关键时期,人工智能(AI)正逐渐成为推动能源系统优化与升级的重要力量。本文探讨了AI在能源生产、分配、存储和消费等方面的应用。在能源生产中,AI通过智能预测与调度、故障预警及优化资源配置等方式提升效率;在能源分配与存储方面,AI推动智能电网管理和储能系统优化;在能源消费端,AI实现精细化管理,如智能家庭能源管理和工业节能。未来,AI将进一步融入能源系统的各个环节,促进能源的高效配置与可持续发展。然而,面对数据安全和算法透明度等挑战,需加强监管与伦理审查,确保AI技术健康发展。
|
3月前
|
人工智能 Cloud Native 数据管理
重磅升级,阿里云发布首个“Data+AI”驱动的一站式多模数据平台
阿里云发布首个AI多模数据管理平台DMS,助力业务决策提效10倍
480 17
下一篇
DataWorks