超越核方法的量子机器学习,量子学习模型的统一框架

本文涉及的产品
模型训练 PAI-DLC,100CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
交互式建模 PAI-DSW,每月250计算时 3个月
简介: 超越核方法的量子机器学习,量子学习模型的统一框架


基于参数化量子电路的机器学习算法是近期在嘈杂的量子计算机上应用的主要候选者。在这个方向上,已经引入和广泛研究了各种类型的量子机器学习模型。然而,我们对这些模型如何相互比较以及与经典模型进行比较的理解仍然有限。

近日,来自奥地利因斯布鲁克大学的研究团队确定了一个建设性框架,该框架捕获所有基于参数化量子电路的标准模型:线性量子模型。

研究人员展示了使用量子信息论中的工具如何将数据重新上传电路有效地映射到量子希尔伯特空间中线性模型的更简单图像中。此外,根据量子比特数和需要学习的数据量来分析这些模型的实验相关资源需求。基于经典机器学习的最新结果,证明线性量子模型必须使用比数据重新上传模型多得多的量子比特才能解决某些学习任务,而核方法还需要多得多的数据点。研究结果提供了对量子机器学习模型的更全面的了解,以及对不同模型与 NISQ 约束的兼容性的见解。

该研究以「Quantum machine learning beyond kernel methods」为题,于 2023 年 1 月 31 日发布在《Nature Communications》上。

论文链接:https://www.nature.com/articles/s41467-023-36159-y

在当前嘈杂的中级量子 (NISQ) 时代,已经提出了一些方法来构建与轻微的硬件限制兼容的有用量子算法。大多数这些方法都涉及量子电路 Ansatz 的规范,以经典方式优化以解决特定的计算任务。除了化学中的变分量子特征求解器和量子近似优化算法的变体之外,基于这种参数化量子电路的机器学习方法是产生量子优势的最有希望的实际应用之一。

核方法(kernel methods)是一类模式识别的算法。其目的是找出并学习一组数据中的相互的关系。核方法是解决非线性模式分析问题的一种有效途径,其核心思想是:首先,通过某种非线性映射将原始数据嵌入到合适的高维特征空间;然后,利用通用的线性学习器在这个新的空间中分析和处理模式。

以前的工作通过利用一些量子模型和经典机器学习的核方法之间的联系,在这个方向上取得了长足的进步。许多量子模型确实是通过在高维希尔伯特空间中编码数据,并仅使用在此特征空间中评估的内积来对数据的属性进行建模来运行。这也是核方法的工作原理。

基于这种相似性,给定的量子编码可用于定义两种类型的模型:(a) 显式量子模型,其中编码数据点根据指定其标签的变分可观测值进行测量;或 (b) 隐式核模型,其中编码数据点的加权内积用于分配标签。在量子机器学习文献中,很多重点都放在隐式模型上。

图 1:这项工作中研究的量子机器学习模型。(来源:论文)

最近,所谓的数据重新上传(data re-uploading)模型取得了进展。数据重新上传模型可以看作是显式模型的推广。然而,这种概括也打破了与隐式模型的对应关系,因为给定的数据点 x 不再对应于固定的编码点 ρ(x)。数据重新上传模型比显式模型严格更通用,并且它们与内核模型范例不兼容。到目前为止,在核方法的保证下,是否可以从数据重新上传模型中获得一些优势仍然是一个悬而未决的问题。

在这项工作中,研究人员引入了一个用于显式、隐式和数据重新上传量子模型的统一框架。

图 2:量子机器学习中的模型族。(来源:论文)

量子学习模型的统一框架

首先回顾线性量子模型的概念,并根据量子特征空间中的定义线性模型解释显式和隐式模型。然后,展示了数据重新上传模型,并展示了尽管被定义为显式模型的推广,但它们也可以通过更大的希尔伯特空间中的线性模型来实现。

线性量子模型

下图给出了一个说明性结构,以直观地说明如何实现从数据重新上传到显式模型的映射。

图 3:近似于数据重新上传电路的说明性显式模型。(来源:论文)

这种结构背后的总体思想是将输入数据 x 编码为辅助量子比特,达到有限精度,然后可以重复使用它来使用与数据无关的单一体来近似数据编码门。

现在转向主要结构,导致数据重新上传和显式模型之间的精确映射。在这里,依赖于与前面结构相似的思想,在辅助量子位上对输入数据进行编码,然后使用数据独立操作在工作量子位上实现编码门。这里的区别在于,使用门传送( gate-teleportation)技术,一种基于测量的量子计算,直接在辅助量子位上实现编码门,并在需要时将它们传送回(通过纠缠测量)到工作量子位上。

图 4:使用门隐形传态从数据重新上传模型到等效显式模型的精确映射。(来源:论文)

研究人员证明了线性量子模型不仅可以描述显式和隐式模型,还可以描述数据重新上传电路。更具体地说,任何假设类的数据重新上传模型都可以映射到等效类的显式模型,即具有受限可观察量族的线性模型。

接着,研究人员更严格地分析了显式和数据重新上传模型相对于隐式模型的优势。在例子中,通过量子比特数和实现非平凡预期损失所需的训练集大小来量化量子模型解决学习任务的效率。关注的学习任务是学习奇偶函数。

图 5:学习分离。(来源:论文)

超越核方法的量子优势

量子机器学习的一个主要挑战是,表明这项工作中讨论的量子方法可以实现优于(标准)经典方法的学习优势。

在这方面的研究中,谷歌量子人工智能的 Huang 等人(https://www.nature.com/articles/s41467-021-22539-9)建议研究目标函数本身由(显式)量子模型生成的学习任务。

与 Huang 等人类似,研究人员使用来自 fashion-MNIST 数据集的输入数据进行回归任务,每个示例都是一个 28x28 的灰度图像。

图 6:显式、隐式和经典模型在「量子定制」学习任务上的回归性能。(来源:论文)

观察到:隐式模型系统地实现比显式模型更低的训练损失。特别是对于非正则化损失,隐式模型实现了 0 的训练损失。另一方面,关于代表预期损失的测试损失,从 n = 7 量子位开始的明显分离,其中经典模型开始与隐式模型具有竞争性能,而显式模型明显胜过他们两个。这表明,不应仅通过将经典模型与量子核方法进行比较来评估量子优势的存在,因为显式(或数据重新上传)模型也可以隐藏更好的学习性能。

这些结果让我们对量子机器学习领域有了更全面的了解,并拓宽了我们对模型类型的看法,以便在 NISQ 机制中实现实际的学习优势。

研究人员认为证明不同量子模型之间存在指数学习分离的学习任务是基于奇偶函数的,这在机器学习中不是一个实际感兴趣的概念类。然而,下限结果也可以扩展到其他具有大维度概念类(即由许多正交函数组成)的学习任务。

量子核方法必然需要许多与该维度成线性比例的数据点,而正如我们在结果中展示的那样,数据重新上传电路的灵活性以及显式模型的有限表达能力以节省大量资源。探索这些模型如何以及何时可以针对手头的机器学习任务进行定制仍然是一个有趣的研究方向。

相关文章
|
2月前
|
机器学习/深度学习 算法 数据挖掘
K-means聚类算法是机器学习中常用的一种聚类方法,通过将数据集划分为K个簇来简化数据结构
K-means聚类算法是机器学习中常用的一种聚类方法,通过将数据集划分为K个簇来简化数据结构。本文介绍了K-means算法的基本原理,包括初始化、数据点分配与簇中心更新等步骤,以及如何在Python中实现该算法,最后讨论了其优缺点及应用场景。
146 4
|
5天前
|
机器学习/深度学习 人工智能 算法
机器学习算法的优化与改进:提升模型性能的策略与方法
机器学习算法的优化与改进:提升模型性能的策略与方法
60 13
机器学习算法的优化与改进:提升模型性能的策略与方法
|
2天前
|
机器学习/深度学习 存储 设计模式
特征时序化建模:基于特征缓慢变化维度历史追踪的机器学习模型性能优化方法
本文探讨了数据基础设施设计中常见的一个问题:数据仓库或数据湖仓中的表格缺乏构建高性能机器学习模型所需的历史记录,导致模型性能受限。为解决这一问题,文章介绍了缓慢变化维度(SCD)技术,特别是Type II类型的应用。通过SCD,可以有效追踪维度表的历史变更,确保模型训练数据包含完整的时序信息,从而提升预测准确性。文章还从数据工程师、数据科学家和产品经理的不同视角提供了实施建议,强调历史数据追踪对提升模型性能和业务洞察的重要性,并建议采用渐进式策略逐步引入SCD设计模式。
15 8
特征时序化建模:基于特征缓慢变化维度历史追踪的机器学习模型性能优化方法
|
7天前
|
机器学习/深度学习 人工智能
Diff-Instruct:指导任意生成模型训练的通用框架,无需额外训练数据即可提升生成质量
Diff-Instruct 是一种从预训练扩散模型中迁移知识的通用框架,通过最小化积分Kullback-Leibler散度,指导其他生成模型的训练,提升生成性能。
27 11
Diff-Instruct:指导任意生成模型训练的通用框架,无需额外训练数据即可提升生成质量
|
2月前
|
人工智能 JSON 算法
Qwen2.5-Coder 系列模型在 PAI-QuickStart 的训练、评测、压缩及部署实践
阿里云的人工智能平台 PAI,作为一站式、 AI Native 的大模型与 AIGC 工程平台,为开发者和企业客户提供了 Qwen2.5-Coder 系列模型的全链路最佳实践。本文以Qwen2.5-Coder-32B为例,详细介绍在 PAI-QuickStart 完成 Qwen2.5-Coder 的训练、评测和快速部署。
Qwen2.5-Coder 系列模型在 PAI-QuickStart 的训练、评测、压缩及部署实践
|
25天前
|
机器学习/深度学习 传感器 运维
使用机器学习技术进行时间序列缺失数据填充:基础方法与入门案例
本文探讨了时间序列分析中数据缺失的问题,并通过实际案例展示了如何利用机器学习技术进行缺失值补充。文章构建了一个模拟的能源生产数据集,采用线性回归和决策树回归两种方法进行缺失值补充,并从统计特征、自相关性、趋势和季节性等多个维度进行了详细评估。结果显示,决策树方法在处理复杂非线性模式和保持数据局部特征方面表现更佳,而线性回归方法则适用于简单的线性趋势数据。文章最后总结了两种方法的优劣,并给出了实际应用建议。
64 7
使用机器学习技术进行时间序列缺失数据填充:基础方法与入门案例
|
26天前
|
编解码 机器人 测试技术
技术实践 | 使用 PAI+LLaMA Factory 微调 Qwen2-VL 模型快速搭建专业领域知识问答机器人
Qwen2-VL是一款具备高级图像和视频理解能力的多模态模型,支持多种语言,适用于多模态应用开发。通过PAI和LLaMA Factory框架,用户可以轻松微调Qwen2-VL模型,快速构建文旅领域的知识问答机器人。本教程详细介绍了从模型部署、微调到对话测试的全过程,帮助开发者高效实现定制化多模态应用。
|
1月前
|
机器学习/深度学习 人工智能 算法
人工智能浪潮下的编程实践:构建你的第一个机器学习模型
在人工智能的巨浪中,每个人都有机会成为弄潮儿。本文将带你一探究竟,从零基础开始,用最易懂的语言和步骤,教你如何构建属于自己的第一个机器学习模型。不需要复杂的数学公式,也不必担心编程难题,只需跟随我们的步伐,一起探索这个充满魔力的AI世界。
51 12
|
2月前
|
机器学习/深度学习 Python
机器学习中评估模型性能的重要工具——混淆矩阵和ROC曲线。混淆矩阵通过真正例、假正例等指标展示模型预测情况
本文介绍了机器学习中评估模型性能的重要工具——混淆矩阵和ROC曲线。混淆矩阵通过真正例、假正例等指标展示模型预测情况,而ROC曲线则通过假正率和真正率评估二分类模型性能。文章还提供了Python中的具体实现示例,展示了如何计算和使用这两种工具来评估模型。
72 8
|
2月前
|
机器学习/深度学习 算法 UED
在数据驱动时代,A/B 测试成为评估机器学习项目不同方案效果的重要方法
在数据驱动时代,A/B 测试成为评估机器学习项目不同方案效果的重要方法。本文介绍 A/B 测试的基本概念、步骤及其在模型评估、算法改进、特征选择和用户体验优化中的应用,同时提供 Python 实现示例,强调其在确保项目性能和用户体验方面的关键作用。
41 6

热门文章

最新文章

相关产品

  • 人工智能平台 PAI