1. 比赛背景
自2019年起，南方电网携手阿里云陆续举办了五届电力调度AI应用大赛，旨在推动电力行业智能化，服务于“碳达峰、碳中和”目标。这些大赛均依托于阿里云调度云平台，并集成了Dataworks、MindOpt、ODPS、PAI、QuickBI、无影等核心技术产品，利用电力生产数据支持参赛团队，对电力行业产生显著影响。
于12月27日结束的第五届大赛以“基于人工智能的电力现货市场快速出清”为主题，吸引了30支队伍参与竞技，重点在于解决“电力系统安全约束机组组合”问题。达摩院决策智能实验室MindOpt团队第二次协办该赛事，向参赛队伍提供了比赛封闭环境内的算法开发与测试平台、MindOpt求解器、强化学习环境，验证了，突出了AI结合求解器技术在提高解决方案精度和效率方面的重要作用。几周内，多支队伍的高强度开发活动以及使用实际数据进行算法验证的过程，也充分证明了MindOpt开发套件在从决策算法的研发到实际应用落地中的全面功能性和实用性。
2. MindOpt大放异彩，无缝整合AI与优化模型
在今年的比赛中，除了阿里达摩院MindOpt Studio平台，南方电网还引入了友商平台，比赛时，给选手提供主节点开发环境和同城节点开发环境。分配一半的参赛队伍选择我们的MindOpt Studio平台，而另一半选择友商平台。
MindOpt Studio的优势在于其无缝整合AI模型和调用求解器的优化模型混合开发，使AI能够加速优化求解过程。这一平台不仅支持大数据量的AI模型训练，同时也能迅速进行优化建模编写，实现包括优化求解在内的综合训练。平台既满足AI的可扩展性需求，又能应对复杂求解算法对CPU的高负载，利用云技术实现资源共享与有效调度。阿里云产研团队与达摩院MindOpt团队的紧密协作，赋予了比赛以多项新技能Buff，促使使用MindOpt Studio平台的参赛队伍在评测中占据了前10名中的8席。
（图片来自主办方南方电网：主节点使用阿里达摩院MindOpt Studio平台，同城节点使用友商平台）
3. 赛题和开发环境的相关技术介绍
3.1. 赛题
赛题：南方区域电力现货市场于2022年7月启动试运行。作为全国首个区域级电力市场，其一大特点是出清规模庞大、约束复杂、变量众多，如何保障区域现货市场出清的时效性、稳定性成为亟待解决的关键问题。本届比赛以通过AI解决日前现货市场出清为出发点，不限制参赛队伍技术路线，最终验证AI加速市场出清的可行性。
比赛提供了模拟仿真环境、机组组合出清数据作为问题数据源，参赛队伍按照比赛要求完成机组组合算法开发工作。机组组合优化目标函数：
初赛的成绩评定是机器测评，包括优化目标成本得分和计算时间得分两部分，评价分数score定义为: Score=40%×r1优化目标值区间排名+60%×r2计算时间区间排名。由于问题是最小化目标，耗时越低越好，所以目标值和计算时间都是越小代表越优秀。
3.2. 创新的算法方案
比赛中涉及的电力系统安全约束机组组合（Security-Constrained Unit Commitment, SCUC）问题是电力系统运行和市场中的一个重要问题，涉及到确定发电机组的开停机状态和出力水平，以满足电力需求和安全约束，同时最小化运行成本。SCUC问题是一个高维、混合整数、非线性的优化问题，具有很高的求解难度和计算复杂度。传统的求解方法，如混合整数规划（Mixed-Integer Programming, MIP）和启发式算法，往往难以在有限的时间内找到高质量的解，或者需要大量的人工调参和先验知识。因此，本次比赛是推荐采用AI+优化的方式，提升机组组合问题求解Gap精度和效率。
阿里云团队和MindOpt团队，参与了前期赛题的设计和基线方案开发。构建了基于电力系统真实数据包含复杂约束的SCUC场景模拟仿真环境，通过分布式计算引擎调度大量计算资源提高采样和训练的效率。同时探索出了不错效果的基线方案（baseline方案）：通过安全强化学习技术来决策机组启停，固定整数变量，并结合优化建模求解方式，高效的计算出可行解。此基线方案作为一个参考方案模板，供参赛选手学习参考。
（强化学习和优化求解双驱动技术结合思路图）
赛前我们对赛题和MindOpt Studio AI平台提供的功能和基线方案做了详细的培训，辅助不同背景的选手能快速上手。比赛中参赛选手有来自电力、优化和计算机方向不同方向的研究生和博士生，也有来自电力相关行业的一线员工和资深专家，大家取长补短寻找各式各样的有效的优化策略，并通过平台开发实现了方案的落地和验证，不断提升队伍比赛得分和排名。
最后比赛的结果验证：
- 参赛队伍均采用通过安全强化学习决策机组启停，固定整数变量的方式来高效获取可行解
- 最终优胜方案结合了多种有效的AI策略，有效提升机组组合问题求解Gap精度和效率
- 比赛场景中验证了在同Gap精度下，AI+优化（含建模时间）方案相比传统纯优化求解，耗时可缩短约50%
- 纯数学优化可以得到质量更好的解，但“AI+优化”方案能在更短的时间内给出次优解。
（AI+优化结合的技术方案对GAP和耗时影响示意图）
举例：1700余秒纯优化求解，采用AI+优化结合，可降低到700秒左右求解，目标值也足够优秀，仅差大约0.6%左右。
3.3. 电力仿真环境
阿里云混合云解决方案研发部也积极参与支持比赛，基于行业和平台的积累沉淀，支持负荷数据、电力仿真器等工作。王浩(伍胥)团队根据实际的系统负荷预测数据，分析变化规律，仿真生成了3个月的出清问题负荷数据。
杨宝春、韩翼(苍古)团队基于自研的“孪生仿真平台”，定制了复杂约束的电力仿真器环境。此“孪生仿真平台”支持生态开放的、可弹性、更快、更准的仿真推演能力。电力仿真器，基于gym框架，以标准化接口支持选手定制环境和快速训练，在比赛期间每天运行了4000W次电力仿真计算。
（仿真环境作用示意图）
3.4. 开发环境
一半参赛队选择的主节点——阿里达摩院MindOpt Studio 决策开发云平台——集成了多项能力，选手通过浏览器访问云平台进行开发，来使用云端的计算资源和软件资源。
（开发环境框架和使用方式示意图）
对于代码开发，MindOpt Studio提供了VSCode、JupyterLab 两种主流WebIDE开发环境，支持Java、C++、Python等所有主流编程语言和国产MAPL代数建模语言（达摩院自研）开发，集成了MindOpt Solver（达摩院自研）、 Tuner（达摩院自研）、PyTorch、TensorFlow等AI+优化求解需要依赖技术库，支持结合数学优化和强化学习解决复杂决策计算问题。并且支持Notebook交互式编程、实例terminal、git代码仓库。让开发者可直接像在个人电脑开发一样开发和调试，轻松利用云端计算资源和软件库资源。
同时，还提供了作业模式进行开发，适合训练/测评等需要起多个任务、耗时、或需要多台机器集群才能完成的开发任务。可页面操作上传代码、依赖文件、参数等，界面操作发起分布式训练等任务，支持作业的管理、存档、启停、日志和训练过程信息查看、模型文件下载等操作。代码控们还可以不在页面操作，直接在webIDE开发环境中通过代码提交任务和查询任务，在作业管理页面中也有存档，可继续切换页面操作。
对于训练和批量测评任务需要的分布式计算，MindOpt Studio 内置了Ray分布式计算集群和DistRun（达摩院自研）分布式计算集群。选手在WebIDE完成代码编写和简单测试后，可以将复杂并行算法作业提交到集群上执行，轻松地调用大规模计算资源。利用集群底座的容错性、灵活性、高性能、通用性为选手保驾护航。让选手可以轻松调度海量计算资源为己所用，也让比赛批量测评变简单。
MindOpt Studio平台的新V2版本后续会部署阿里云公有云的租户版本上，尽请期待。
（webIDE实例开发软件界面图：VSCode和JupyterLab随时切换）
（作业模式开发软件界面图）
3.5. Coding的大模型神器：通义灵码
今年比赛的一大亮点，是接入了阿里自研的大模型编程助手——“通义灵码”。参赛选手可在MindOpt Studio集成的VSCode WebIDE中，通过调用通义灵码，实现大模型辅助编程与建模编程。通义灵码可根据当前代码文件及跨文件的上下文，自动生成行级/函数级代码、单元测试、代码注释等，此外还具备代码解释、智能研发问答、异常报错排查等能力。为选手提供高效、流畅的编码体验。
（截图左下角是通义灵码使用示意）
3.6. 比赛结果测评
对于比赛来说一个重要的组成部分就是评价选手的比赛结果。南网AI大赛选手输出的结果是一份电网调度的策略，包含了1000+个机组在一天96个时间点上的启停策略和发电量等信息。要求能够以尽量短的时间找到这组调度策略，并且其能够让电网的整体开销最小。这意味着我们必需有一套自动化的评测能力，能够在统一的环境下驱动选手的智能体，并自动统计执行时间和验证选手计算出来的电网调度策略是否满足调度约束。在计算完所有选手的结果后，还需要汇总所有结果，统计开销和时间的情况，计算出整体的分数和排名。
同时本次南网采用双开发平台的机制来进行比赛，最后统一测评算法效果。所以，除了需要评测基于我们自己MindOpt Studio平台上研发出来的智能体以外，还需要支持使用友商平台研发出来的智能体做评测。也就是说我们需要提供一个独立于比赛开发平台之外的平台，同时兼容使用不同公司平台的选手做评测和打分。
针对这些比赛特点，我们改造了MindOpt团队内部研发使用的分布式自动化测试平台。通过扩展平台能力支持了每日排行榜和积分排行榜，以及对选手智能体程序的分布式调度执行，评估方案的有效性并生成详细的结果。
（评测成绩图，测试数据）
4. 比赛结果和选手评价
在12月27号，通过初赛入选决赛的6支队伍进行决赛答辩，其中有4个采用了阿里达摩院的MindOpt Studio。
最后初赛各项成绩都第一的清华大学团队，斩获决赛第一名、可视化奖、创新奖三个奖项。清华电机系的博士生曾泓泰作为代表答辩和领奖发言提到：“在本次比赛中我们采用了Data-Centric AI的技术路线来加速电力系统机组组合问题的求解，取得了初步成效。之所以采用这一技术路线，其实源于我的导师郭庆来教授在我们平时科研中所一直强调的学术思想有关，郭老师一直跟我们强调在电力调度领域做AI跟在计算机领域做AI的最大不同点就在于电力系统本身是有物理模型的，只有更好地利用电网这个物理模型本身的特点，我们才能够做出更好的AI。”
清华大学和达摩院MindOpt有多年的合作历史，一直给MindOpt优化求解器研发团队提供了很多宝贵的建议。
（2023云栖大会，MindOpt征集的可公开的用户反馈图）
在决赛的大赛方公布的选手采访视频里，多用户对本次比赛的开发环境给予了很高的评价：
- “今年平台的操作很容易上手，给选手给了更多时间去做算法调优工作。 ”
- “很有意思的是在VSCode里面嵌入了通义灵码大模型，我们是第一次体验，感觉很神奇，很有魅力。”
- “这里搭建的仿真环境、IDE求解资源、Ray资源，是相当完善的，给了电力调度开发人员提供了很好的平台去使用。”
- “平台层面用起来比较方便，比如说开并行的任务，或者快速去debug一些任务，包括去后台看内存的使用占用，以及排除bug，这个平台都能很好地使用相对自定义的功能。”
另外，多个用户反本次赛题问题的选择、很多实际数据、数据量大，给科研带来了很大帮助：
- “这个平台的数据都是实际数据，对于我们科研的落地，有很好的帮助。”
- “本次赛题是对我们科研的检验。 因为我们实际做科研的时候，很少有这么大规模的数据去进行测算，这次比赛能够帮助发现我们平时在科研中遇到的问题，来反向激励我们在这方面深入的研究。”
- “帮助我们更好地理解业务逻辑，帮助理解业务需要解决什么问题。”
5. 结语
阿里达摩院决策智能实验室负责人印卧涛表示：“在新能源电力调度领域，AI与数学求解技术的结合正在引领一场变革。这种双决策引擎极大地提高了电力系统的运行效率、可靠性，同时为绿色能源智能化管理提供了新的技术支撑。未来，云+AI的模式会让电力行业在绿色、可持续和智能化的道路上不断迈进。”
MindOpt Studio由阿里达摩院决策智能实验室研发。实验室致力于决策智能系统需要的机器学习、数学建模、优化求解、 时序预测、因果分析、决策方案可解释性、决策推理大模型等技术的研究和创新，提升业务的运营效率和收益、减少运营成本。代表作是行业领先的MindOpt优化求解器、智能电力预测eForecaster、决策开发云平台。团队研发的技术广泛应用于电力系统仿真和优化、功率与负荷预测、内容推荐、资源调度、库存定价、运维监测、排产排程、营销决策、数据智能分析等场景。
其中，在电力能源行业构建出“绿色能源AI”方案（点击查看方案介绍），与国家电网、南方电网等企业合作落地多个项目，多项目验证可替代海外求解器。近期还在工信部举办的权威的电力国产求解器比赛中，获得了第一名。
比自己成功更开心的是：帮助用户成功。在工信部比赛中由MindOpt技术开放支持的团队获得二等奖。在此次南网AI大赛中，MindOpt团队研发的开发环境，帮助用户赢得比赛。
特别是本次比赛，与阿里云多个兄弟团队（王浩(伍胥)、杨宝春、韩翼(苍古)、通义灵码等）合作，打造出技术和体验均领先对手的开发环境，太赞了。
未来，达摩院MindOpt团队将继续钻研前沿的决策智能技术，打造国人自研的、世界领先的、为算法和软件开发者服务的“工业设计”软件。
