虽然 2022 尚未结束，但今年深度学习领域的研究趋势已然清晰，各大机构依然在大模型上展开角逐，尤其是通用性更强的多模态、多任务大模型：OpenAI 祭出了最新的 DALL·E 2，DeepMind 构建了通才 AI 智能体 Gato，阿里也在不久前发布了通义大模型系列...... 它们毫无例外都在攻克一个目标——让 AI 掌握像人类一样的多模态理解能力，从而实现 AI 的通用性。
与此同时，深度学习与其他学科的融合以及深度学习之外的 AI 研究方向也得到了越来越多的关注。
这些方向有着广阔的探索空间，还有很多问题亟待解决，比如预训练已经在 NLP、CV 甚至多模态领域取得了非常显著的进展，但大规模图预训练模型在学术界和业界仍然相对空白；融合了深度学习和博弈论的 AlphaGo、AlphaZero、Muzero 家族已经在各种游戏中取得了举世瞩目的成就，但在线拍卖、数智经营等领域仍需要二者进一步融合，去探索更加高效的自动机制设计；以文生图已经做到了令人惊叹的水平，但其他模态的生成，比如音乐生成依然不尽如人意。
这些都是最近刚刚成立的北大 - 阿里妈妈人工智能创新联合实验室所关注的问题。
北大 - 阿里妈妈人工智能创新联合实验室（以下简称「联合实验室」）于 9 月 17 日正式成立，实验室集齐了产业界和学术界的多位大牛：北京大学智能学院院长、人工智能研究院院长、国际人工智能领域知名学者朱松纯教授领衔学术指导，欧洲科学院外籍院士、北京大学讲席教授邓小铁，北大智能学院副教授、院长助理宋国杰和阿里妈妈技术负责人郑波都是实验室的核心成员。他们将聚焦人工智能前沿领域的理论、方法与关键技术展开研究，为社会和企业带来世界领先的创新成果。
为了实现这一愿景，联合实验室首期公布了三个重点研究方向：大规模图预训练模型、决策智能和智能音乐生成，预期将为广大商家，特别是中小商家带来更大范围的技术普惠。
面向大规模图数据的预训练模型方向：填补学界、业界空白
电商场景中存在着消费者、商品、商家间的复杂关系，非常适合用图结构来表示。电商平台一般会利用图神经网络，从不同维度挖掘 Query（查询词）、Item（商品）和 Ad（广告）的多种关系，从而快速匹配到符合用户意图的广告并推荐给用户。
其实，早在 2017 年图神经网络还处于孕育期时，阿里妈妈团队就意识到了图深度学习是一个非常重要的技术方向，且业界没有成熟的解决方案。2017 年 5 月，阿里妈妈开发完成了第一个版本的图学习系统，支持基于随机游走类的图学习算法，并在阿里妈妈深度匹配业务上取得了不错的效果。之后，他们还陆续开发了一些高效的图神经网络算法。
但随着要处理的数据量越来越大，图数据结构越来越复杂，GNN 的一些固有缺陷（如多层模型的过平滑问题和大图场景下的邻域爆炸问题）开始暴露出来，阻碍了图表征能力的进一步提升。
与此同时，2019 年之后，深度学习正式进入「大模型」时代，Transformer 在 NLP、CV 甚至多模态领域表现出了优异的性能，Transformer + 图表示学习自然也成为一个极具潜力的方向。鉴于大规模图预训练模型在学界和业界仍然处于相对空白的状态，阿里妈妈团队这几年一直在努力填补这方面的空白。
2019 年初，他们开源了大规模分布式图表征学习框架 Euler，当时，该框架就已经支持图分割和高效稳定的分布式训练，并且可以轻松支撑数十亿点、数百亿边的计算规模。之后，他们又将该框架升级到了 2.0 版本。
在联合实验室成立之前，北大和阿里妈妈双方就已经在图模型和 Transformer 模型的结合上展开合作研究，对包含亿级节点的大规模图进行聚类和分层，帮助模型更好地感知全局信息以增加泛化性，同时通过图预训练方法学习图中节点和特征的表示，作为广告预测任务的初始化信息，提升广告召回、预测等任务的效果，最终提升商家的经营能力。
可以说，在大模型的研究方向上，阿里妈妈具有天然的优势。除了 Euler 2.0，他们现有的其他一些基础设施也将为这一方向的研究提供支撑，比如海量数据超大规模建模平台 XDL，它能够让模型达到百亿级别特征、千亿级别参数，这些模型通过万亿级别的样本训练产生。
阿里妈妈在图方面展开不断深入的研究并将研究成果应用于线上，他们去年开源的曲率空间学习框架 CLF，是对现有图模型的进一步升级。曲率空间能比欧式空间容纳更多的数据，而且对树、环等几何特性展现的更全面精准，因此能精准建模十亿级商家与用户的交互行为，同时将存储消耗量降低 80%，用户侧请求匹配精准度相对提升 15%。
目前，这一方向已有初步成果产生。研究团队在 Euler2.0 基础上，对 Hierarchical Graph Transformer (HGT) 算法进行了模型优化、适配和训练效率提升，实现了 HGT 在工业级超大规模图上进行预训练的技术落地，完成了超大规模异质图模型训练与评测的全流程搭建，并初步应用于阿里妈妈外投广告业务，未来预计会显著提升商家投入产出比等效果指标。
值得注意的是，这一方向的技术未来还可以广泛应用于交通系统、分子结构预测、计算机视觉、程序推理、社会影响预测、芯片设计等方向。
决策智能方向：让商家和平台的决策更有效、更高效，寻求更优的自动机制设计
决策智能是计算经济学中的重要方向，实现了经济学经典理论（博弈论等）和人工智能技术的结合，广告的拍卖机制、投放策略乃至更广义的机制设计都需要这一方向提供理论支撑。
拍卖机制设计
拍卖机制在广告投放中扮演着重要角色。如何帮助广告主出价以赢得更有价值的流量，如何设计激励兼容的机制以保障平台可持续的健康发展等都属于这个范畴。
近几年，深度学习和强化学习技术应用到拍卖机制设计领域开始受到越来越多的重视，但是已有的工作在拍卖机制上的理论假设很强、甚至无法在实际应用中落地。因此，阿里妈妈一直在尝试设计新型的面向多目标优化的拍卖机制，并结合工业界海量数据的优势，通过深度学习和强化学习的创新来提升在实际应用中机制设计的能力。他们先后提出了面向多目标优化的智能拍卖机制 Deep GSP、端到端优化的拍卖机制 Neural Auction 等方法，还设计了面向决策智能的平台化框架 AIDA。
据了解，联合实验室会继续研究基于机器学习的机制设计的前沿方向，充分挖掘和发挥数据、算力和机器学习算法在机制设计领域的潜力。
此外，联合实验室还将发力广义的机制设计，比如通过设计一些机制来改善中商家在疫情期间的经营状况，从而实现和提升机制研究的社会价值。
投放策略
在电商场景中，广告主通常希望在有限的资源投入下最大化营销效果。然而流量环境、其他参竞广告形成的竞争环境的复杂性、以及广告投放策略中出价、目标人群、资源位、投放时间等变量的巨大组合复杂度，使得最优广告投放策略的计算与执行充满了挑战。
阿里妈妈已建立起了一套持续演进的广告智能投放体系，包括预算约束下的报价策略、多约束下的报价策略、合约保量报价策略、基于长期价值的序列投放报价策略、跨渠道智能投放策略等，实现了从不确定到对广告主有合约保量确定的结果保障，以及从广告主自己手动调出价到广告主只要设定预算就能自动帮其运维的升级。
联合实验室计划在这些成果的基础上进一步优化报价策略，通过研究和实现 Continuous Bidding 等不同机制模型假设下的最优报价策略，持续不断地提升广告主的投放效果。
值得注意的是，类似这样的跨学科研究在阿里妈妈还有很多正在进行，比如他们去年开源的联邦学习解决方案 EFLS，将隐私保护技术、机器学习技术有机的结合在一起，实现了保护数据安全情况下的跨媒体联合建模，在保护用户隐私的前提下大幅提升了推荐效率。
智能音乐生成方向：对通用人工智能的一次有益探索
从图文到视频，AI 所能生成的内容范围正变得越来越广，商家制作新的广告也变得越来越容易。
在图文智能创意方面积累了多年的经验后，阿里妈妈也早就开始进军短视频，他们的多媒体创意智能生成和优选平台 MDL 可以根据剧本自动生成各种风格的短视频，例如比较热闹的淘宝风格、适合在短视频平台上传播的老铁风格等。该平台每天可以产生 8000 万的图文创意、100 万的短视频创意，为商家带来 10 亿次以上的曝光。
已有战绩之外，联合实验室瞄准了一项新的挑战——智能音乐生成，旨在解决商家普遍面临的版权痛点和配乐个性化需求。
目前的音乐生成场景普遍采用基于深度学习的方式，生成的音乐不可控且缺乏美感，常常需要加入人工筛选、修改、创作、演奏来达到理想的效果。
据了解，联合实验室另辟蹊径，结合一系列通用人工智能研究成果——AOG（与或图）、XAI（可解释 AI）、CMAe（美学计算模型）——来探索一条新的音乐生成道路。
AOG 是一个复杂的概率语法图模型，就像用脑皮层里面学习到的大量的知识来解释你所看到的「蛛丝马迹」，形成一个合理的解。它能够对图像与视频进行时、空、因果的联合解译，且可通过 MCMC（Markov Chain Monte Carlo）方法采样生成图像 / 视频，这种 Top-down 的计算过程在传统深度多层神经网络中是没有的。
XAI 和 CMAe 则是让机器理解人类价值观和对图像、视频进行美学评价方面做出的努力，前者还登上了 Science 官网头条。
联合实验室将依托上述成果，形成一套完整的 Music AOG 理论，以支持音乐的表示、学习、解译与生成。具体来说，他们将通过对广告视频进行时空因果联合解译，结合音乐解译，个性化地生成广告视频配乐，同时让 AI 生成的音乐符合人类价值观和审美。当然，如何对音乐的复杂制作过程与人的情感参与进行统一 AOG 建模将是一个富有挑战的问题。
目前，这一理论也已经有了雏形，包括旋律 AOG、和声 AOG、编曲 AOG 等方面的理论研究。
这些成果不仅可以用在电商领域，未来还将在数字人、元宇宙等多个领域得到施展空间。
前沿方向结合丰富场景，这个实验室提供了产学合作新范本
在人工智能领域，产学合作的模式由来已久，但北大 - 阿里妈妈人工智能创新联合实验室仍有其鲜明的特点。如阿里巴巴集团首席技术官程立所说，联合实验室要成为全新的产学研合作样本，在重要研究领域以及核心产业场景做出让企业和消费者都受益的好科技。
一方面，实验室关注的问题非常前沿，既有在当前深度学习路径上的继续探索，也有在深度学习之外的新路径上的尝试，究竟哪条路径可以通往通用人工智能，目前学界还没有结论。
这一特点与国家《第十四个五年规划和 2035 年远景目标纲要》中指出的「聚焦人工智能关键算法等关键领域，加快推进基础理论、基础算法等研发突破与迭代应用」的要求是一致的。
另一方面，实验室十分注重研究成果与场景的结合，每项成果都能在阿里妈妈所拥有的国内乃至全球最丰富、最复杂的商业场景中迅速得到验证。
阿里妈妈总裁刘博表示，阿里妈妈内部业务已全面实现 AI 化，未来将继续为实验室的技术研究提供技术平台和验证场景，共同推动商业数智化进程。
实验室首期成果预计将为广大商家特别是中小商家带来更大范围的技术普惠：通过大规模图预训练模型，深度学习技术将加速商家商品和广告投放的冷启动，提升客户投放体验和效果；决策智能和智能音乐生成技术，将明显提升商家的决策能力、投放效果和稳定性，让中小商家能无门槛享受到 AI 技术带来的便利。
此外，联合实验室还将延续阿里妈妈既有的开源传统，之前已经开源的成果包括前面提到的 CLF、EFLS 模型和 XDL、EULER 平台等。
对于实验室的长期目标，朱松纯指出：「联合实验室要锚住国际最前沿的人工智能发展趋势，面向国民经济发展的重大需求，在通用人工智能、元宇宙、数字人等前沿方向大胆探索，注重多学科之间的交叉与融合，探索出一条具有中国特色、体现中国智慧的发展道路，为国家的人工智能发展战略做出贡献。」
参考链接：
https://baijiahao.baidu.com/s?id=1690201032316494674&wfr=spider&for=pc
https://bbs.huaweicloud.com/blogs/281949
https://www.leiphone.com/category/yanxishe/PXVeGba4qrpxANmO.html
https://zhuanlan.zhihu.com/p/494163949
https://www.6aiq.com/article/1641162993975
