资源|一文解读合成数据在机器学习技术下的表现

简介:

想法

相比于数量有限的“有机”数据,我将分析、测评合成数据是否能实现改进。

动机

我对合成数据的有效性持怀疑态度——预测模型只能与用于训练数据的数据集一样好。这种怀疑论点燃了我内心的想法,即通过客观调查来研究这些直觉。

需具备的知识

本文的读者应该处于对机器学习相关理论理解的中间水平,并且应该已经熟悉以下主题以便充分理解本文:

  • 基本统计知识,例如“标准差”一词的含义

  • 熟悉神经网络,SVM和决策树(如果您只熟悉其中的一个或两个,那可能就行了)

  • 了解基本的机器学习术语,例如“训练/测试/验证集”的含义

合成数据的背景

生成合成数据的两种常用方法是:

  • 根据某些分布或分布集合绘制值

  • 个体为本模型的建模

在这项研究中,我们将检查第一类。为了巩固这个想法,让我们从一个例子开始吧!

想象一下,在只考虑大小和体重的情况下,你试图确定一只动物是老鼠,青蛙还是鸽子。但你只有一个数据集,每种动物只有两个数据。因此不幸的是,我们无法用如此小的数据集训练出好的模型!

这个问题的答案是通过估计这些特征的分布来合成更多数据。让我们从青蛙的例子开始

参考这篇维基百科的文章(只考虑成年青蛙):

https://en.wikipedia.org/wiki/Common_frog

第一个特征,即它们的平均长度(7.5cm±1.5cm),可以通过从正态分布中绘制平均值为7.5且标准偏差为1.5的值来生成。类似的技术可用于预测它们的重量。

然而,我们所掌握的信息并不包括其体重的典型范围,只知道平均值为22.7克。一个想法是使用10%(2.27g)的任意标准偏差。不幸的是,这只是纯粹猜测的结果,因此很可能不准确。

鉴于与其特征相关信息的可获得性,和基于这些特征来区分物种的容易程度,这可能足以培养良好的模型。但是,当您迁移到具有更多特征和区别更细微的陌生系统时,合成有用的数据变得更加困难。

数据

该分析使用与上面讨论的类比相同的想法。我们将创建一些具有10个特征的数据集。这些数据集将包含两个不同的分类类别,每个类别的样本数相同。

“有机”数据

每个类别将遵循其中每个特征的某种正态分布。例如,对于第一种特征:第一个类别样本的平均值为1500,标准差为360;第二个类别样本的平均值为1300,标准差为290。其余特征的分布如下:

aa38cffa7587e3f898e11ff4c69cc2e232328027

该表非常密集,但可以总结为:

  • 有四个特征在两类之间几乎无法区分,

  • 有四个特征具有明显的重叠,但在某些情况下应该可以区分,并且

  • 有两个特征只有一些重叠,通常是可区分的。

创建两个这样的数据集,一个1000样本的数据集将保留为验证集,另一个1000样本的数据集可用于训练/测试。

这会创建一个数据集,使分类变得足够强大。

合成数据

现在事情开始变得有趣了!合成数据将遵循两个自定义分布中的其中一个。第一个我称之为“ Spikes Distribution”。此分布仅允许合成特征采用少数具有每个值的特定概率的离散值。例如,如果原始分布的平均值为3且标准差为1,则尖峰(spike)可能出现在2(27%),3(46%)和4(27%)。

第二个自定义分布我称之为“ Plateaus Distribution”。这种分布只是分段均匀分布。使用平台中心的正态分布概率推导出平稳点的概率。您可以使用任意数量的尖峰或平台,当添加更多时,分布将更接近正态分布。

为了清楚说明这两个分布,可以参考下图:

199fc32696dd26424aa622ea05ecb11edd00f974

(注:尖峰分布图不是概率密度函数)

在这个问题中,合成数据的过程将成为一个非常重要的假设,它有利于使合成数据更接近于“有机”数据。该假设是每个特征/类别对的真实平均值和标准差是已知的。实际上,如果合成数据与这些值相差太远,则会严重影响训练模型的准确性。

好的,但为什么要使用这些分布?他们如何反映现实?

我很高兴你问这个问题!在有限的数据集中,您可能会注意到,对于某个类别,某个特征只会占用少量值。想象一下这些值是:

(50,75,54,49,24,58,49,64,43,36)

或者如果我们可以对这列进行排序:

(24,36,43,49,49,50,54,58,64,75)

为了生成此特征的数据,您可以将其拆分为三个部分,其中第一部分将是最小的20%,中间的60%将是第二部分,第三部分将是最大的20%。然后使用这三个部分,您可以计算它们的平均值和标准差:分别为(30,6.0),(50.5,4.6)和(69.5,5.5)。如果标准差相当低,比如大约为相应均值的10%或更小,则可以将该均值视为该部分的尖峰值。否则,您可以将该部分视为一个平台,其宽度是该部分标准差的两倍,并以该部分的平均值作为中心。

或者,换句话说,他们在模拟不完美的数据合成方面做得不错。

我将使用这些分布创建两个800样本数据集 - 一个使用尖峰,另一个使用平台。四个不同的数据集将用于训练模型,以便比较每个数据集的有用性:

  • 完整 (Full) - 完整的1000个样本有机数据集(用于了解上限)

  • 真实 (Real) - 只有20%的样本有机数据集(模拟情况而不添加合成数据)

  • 尖峰(Spike) - “真实”数据集与尖峰数据集相结合(1000个样本)

  • 平台(Plateaus) - “真实”数据集与平台数据集相结合(1000个样本)

现在开始令人兴奋的部分!

训练

为了测试每个数据集的强度,我将采用三种不同的机器学习技术:多层感知器(MLP),支持向量机(SVM)和决策树(Decision Trees)。为了帮助训练,由于某些特征的幅度比其他特征大得多,因此利用特征缩放来规范化数据。使用网格搜索调整各种模型的超参数,以最大化到达最好的超参数集的概率。

总之,我在8个不同的数据集上训练了24种不同的模型,以便了解合成数据对学习效果的影响

相关代码在这里:

https://github.com/EricLeFort/DataGen

结果

经过几个小时调整超参数并记录下精度测量结果后,出现了一些反直觉的结果!完整的结果集可以在下表中找到:

07202a1d6d9dbceffe0b2b15244bb3fa7dbb274b

在这些表中,“Spike 9”或“Plateau 9”是指分布和使用的尖峰/平台的数量。单元格中的值是使用相应的训练/测试数据对模型进行训练/测试,并用验证集验证后的的最终精度。还要记住,“完整”(Full)类别应该是准确性的理论上限,“真实”(Rea;)类别是我们在没有合成数据的情况下可以实现的基线。

一个重要的注意事项是,(几乎)每次试验的训练/测试准确度都明显高于验证准确度。例如,尽管MLP在Spike-5上得分为97.7%,但在同一试验的训练/测试数据上分别得分为100%和99%。当在现实世界中使用时,这可能导致模型有效性的过高估计。

完整的这些测量可以在GitHub找到:

https://github.com/EricLeFort/DataGen

让我们仔细看看这些结果。

首先,让我们看一下模型间的趋势(即在所有机器学习技术类型中的合成数据集类型的影响)。似乎增加更多尖峰/平台并不一定有助于学习。你可以看到在3对 5时尖峰/平台之间的一般改善,但是当看到5对9时,则要么变平或稍微倾斜。

对我来说,这似乎是违反直觉的。随着更多尖峰/平台的增加,我预计会看到几乎持续的改善,因为这会导致分布更类似于用于合成数据的正态分布。

现在,让我们看一下模型内的趋势(即各种合成数据集对特定机器学习技术的影响)。对于MLP来说,尖峰或平台是否会带来更好的性能似乎缺少规律。对于SVM,尖峰和平台似乎表现得同样好。然而,对于决策树而言,平台是一个明显的赢家。

总的来说,在使用合成数据集时,始终能观察到明显的改进!

以后的工作

需要注意的一个重要因素是,本文的结果虽然在某些方面有用,但仍然具有相当的推测性。因此,仍需要多角度的分析以便安全地做出任何明确的结论。

这里所做的一个假设是每个类别只有一个“类型”,但在现实世界中并不总是如此。例如,杜宾犬和吉娃娃都是狗,但它们的重量分布看起来非常不同。

此外,这基本上只是一种类型的数据集。应该考虑的另一个方面是尝试类似的实验,除了具有不同维度的特征空间的数据集。这可能意味着有15个特征而不是10个或模拟图像的数据集。


原文发布时间为:2018-08-22

本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“大数据文摘”。

相关文章
|
1天前
|
机器学习/深度学习 数据采集 资源调度
利用机器学习技术优化数据中心能效
【5月更文挑战第27天】 在本文中,我们探讨了一种基于机器学习的技术框架,旨在实现数据中心能效的优化。通过分析数据中心的能耗模式并应用预测算法,我们展示了如何动态调整资源分配以减少能源消耗。与传统的摘要不同,此部分详细阐述了研究的动机、使用的主要技术手段以及期望达成的目标,为读者提供了对文章深入理解的基础。
|
2天前
|
机器学习/深度学习 人工智能 自然语言处理
探索机器学习中的自然语言处理技术
【5月更文挑战第27天】 在数字化时代的浪潮中,自然语言处理(NLP)作为人工智能的一个分支,正以前所未有的速度和能力重塑我们与机器的交互方式。本文将深入探讨自然语言处理的核心概念、关键技术以及在不同领域的应用实例。我们将从基础理论出发,逐步解析NLP如何处理和理解人类语言的复杂性,并展示如何利用这些技术解决实际问题,如情感分析、机器翻译和智能问答系统。
|
2天前
|
机器学习/深度学习 自然语言处理 安全
探索机器学习中的自然语言处理技术网络安全与信息安全:保护数据的关键策略
【5月更文挑战第27天】 在数字化时代,自然语言处理(NLP)技术是连接人类语言与计算机理解的桥梁。本文将深入探讨NLP的核心概念、关键技术以及在不同领域的应用实例。我们将从基础原理出发,解析词嵌入、语法分析到深度学习模型等关键步骤,并讨论NLP如何推动聊天机器人、情感分析和自动文摘等技术的发展。通过案例分析,揭示NLP在实际应用中的挑战与前景,为未来研究和应用提供参考。
|
2天前
|
机器学习/深度学习 敏捷开发 测试技术
深入理解自动化测试:框架选择与实践挑战利用机器学习技术优化数据中心冷却系统
【5月更文挑战第27天】 在现代软件开发周期中,自动化测试已成为确保产品质量和加快市场投放的关键步骤。本文深入探讨了自动化测试的框架选择问题,并剖析了实施过程中面临的挑战及其解决方案。通过比较不同测试框架的特点,我们旨在为读者提供一套明确的指导原则,帮助他们根据项目需求做出恰当的技术决策。同时,文中还分享了实际案例和最佳实践,以期帮助开发团队克服实施自动化测试时可能遇到的障碍。
|
2天前
|
机器学习/深度学习 数据采集 自然语言处理
利用机器学习进行情感分析:技术与应用
本文将探讨机器学习在情感分析领域的应用。首先,我们将介绍情感分析的基本概念和重要性。接着,我们将详细讨论如何使用机器学习技术进行情感分析,包括数据预处理、特征提取、模型训练和评估等步骤。最后,我们将展示一些实际的情感分析应用案例。
|
2天前
|
机器学习/深度学习 数据采集 分布式计算
【机器学习】Spark ML 对数据进行规范化预处理 StandardScaler 与向量拆分
标准化Scaler是数据预处理技术,用于将特征值映射到均值0、方差1的标准正态分布,以消除不同尺度特征的影响,提升模型稳定性和精度。Spark ML中的StandardScaler实现此功能,通过`.setInputCol`、`.setOutputCol`等方法配置并应用到DataFrame数据。示例展示了如何在Spark中使用StandardScaler进行数据规范化,包括创建SparkSession,构建DataFrame,使用VectorAssembler和StandardScaler,以及将向量拆分为列。规范化有助于降低特征重要性,提高模型训练速度和计算效率。
|
2天前
|
机器学习/深度学习 分布式计算 算法
【机器学习】Spark ML 对数据特征进行 One-Hot 编码
One-Hot 编码是机器学习中将离散特征转换为数值表示的方法,每个取值映射为一个二进制向量,常用于避免特征间大小关系影响模型。Spark ML 提供 OneHotEncoder 进行编码,输入输出列可通过 `inputCol` 和 `outputCol` 参数设置。在示例中,先用 StringIndexer 对类别特征编码,再用 OneHotEncoder 转换,最后展示编码结果。注意 One-Hot 编码可能导致高维问题,可结合实际情况选择编码方式。
|
4天前
|
机器学习/深度学习 人工智能 自然语言处理
探索机器学习中的自然语言处理技术
【5月更文挑战第25天】 在数字化时代的浪潮中,自然语言处理(NLP)技术正迅速成为机器学习领域的一个重要分支。本文将深入探讨NLP的核心概念、关键技术及其在不同行业中的应用实例。我们将通过实际案例分析来揭示NLP如何改善信息检索、情感分析和智能对话系统,并讨论其在现实世界中所面临的挑战与未来的发展趋势。
|
4天前
|
机器学习/深度学习 缓存 算法
深入理解操作系统的虚拟内存管理利用机器学习技术优化数据中心能效
【5月更文挑战第25天】 在现代计算机系统中,虚拟内存是允许用户程序逻辑地址空间与物理内存解耦的关键概念。它为每个进程提供了一个独立的、连续的地址空间,通过内存管理单元(MMU)硬件的支持,将程序使用的虚拟地址映射到实际的物理内存地址。这种机制不仅简化了程序的编写和内存的管理,还提供了保护机制,防止不同进程之间的相互干扰。本文将探讨虚拟内存的工作原理、分页系统的实现以及虚拟内存带来的性能影响,并讨论操作系统如何优化内存使用和管理。
|
6天前
|
机器学习/深度学习 人工智能 自然语言处理
探索机器学习中的自然语言处理技术
【5月更文挑战第23天】 随着人工智能领域的飞速发展,自然语言处理(NLP)技术已经成为了机器学习中不可或缺的一部分。本文将深入探讨NLP的核心概念、关键技术以及在不同应用场景下的实践方法。通过理论与实践的结合,旨在为读者提供一个清晰、全面的NLP技术概览,并展示其在解决复杂问题时的巨大潜力。
10 0

热门文章

最新文章