LossVal:一种集成于损失函数的高效数据价值评估方法

本文涉及的产品
实时计算 Flink 版,1000CU*H 3个月
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
实时数仓Hologres,5000CU*H 100GB 3个月
简介: LossVal是一种创新的机器学习方法,通过在损失函数中引入实例级权重,直接在训练过程中评估数据点的重要性,避免了传统方法中反复重训练模型的高计算成本。该方法适用于回归和分类任务,利用最优传输距离优化权重,确保模型更多地从高质量数据中学习。实验表明,LossVal在噪声样本检测和高价值数据点移除等任务上表现优异,具有更低的时间复杂度和更稳定的性能。论文及代码已开源,为数据价值评估提供了高效的新途径。

在机器学习领域,训练数据的价值并非均等:部分训练数据点对模型训练的影响显著高于其他数据点。评估单个数据点的影响程度通常需要反复重训练模型,计算效率低下。LossVal提出了一种创新方法,通过将数据价值评估过程直接集成到神经网络的损失函数中,实现了高效的数据价值评估。

现代机器学习模型通常依赖大规模数据集进行训练。在实际应用中,数据集中的训练样本对模型的信息贡献度存在显著差异。例如含噪声数据点或标注错误的样本往往对机器学习模型的学习过程贡献有限。在这篇研究的一个实验中,利用车辆碰撞测试数据集训练模型,目标是基于车辆参数预测碰撞对乘员的伤害程度。数据集中包含80年代和90年代的车辆数据,这些历史数据对现代车辆的碰撞预测可能具有较低的参考价值。

LossVal技术原理

LossVal的核心思想是在模型训练过程中同步学习样本重要性得分,这一过程与模型权重的学习机制类似。这种方法避免了传统方法中需要多次重训练模型的计算开销,同时也无需记录训练过程中的模型权重更新序列。

实现上述目标的关键在于对标准损失函数(如均方误差MSE和交叉熵损失)进行改进。通过在损失函数中引入实例级权重,并将其与加权分布距离函数相乘。LossVal损失函数的一般形式可表示为:

其中ℒ表示加权目标损失(可以是加权MSE或交叉熵),OT代表最优传输的加权分布距离。这种改进后的损失函数可直接用于神经网络训练,其中权重w通过梯度下降方法在每个训练步骤中更新。

以下分别介绍回归任务和分类任务中LossVal的具体实现方法,随后详细探讨分布距离OT的计算原理。

回归任务中的LossVal实现

从最基础的MSE开始分析。标准MSE定义为模型预测值ŷ与真实值y之间的平方差(n为训练样本索引):

LossVal对MSE进行了两步改进:首先引入样本权重wₙ,为每个训练实例分配权重;其次将加权MSE与分布距离函数相乘。

分类任务中的LossVal实现

标准交叉熵损失的表达式为:

对交叉熵损失的改进方式与MSE类似:

最优传输距离度量

最优传输距离反映了将一个分布转换为另一个分布所需的最小代价,也称为推土机距离(这一形象化的名称源自于描述将一堆土填入坑洞的最优路径问题)。其数学定义为:

其中c表示将点xₙ移动到xⱼ的代价,γ代表可能的传输方案集合,定义了点的移动路径。最优传输方案γ**是指具有最小分布距离的传输方案。值得注意的是,论文通过联合分布Π(w, 1)将权重w整合到代价函数中。因此OTᵥᵥ*实际上度量了训练集与验证集之间的加权距离。

从实际应用角度来看,通过优化权重以最小化OTᵥᵥ,算法会自动为与验证数据相似的训练数据点分配较高权重,而噪声样本则会获得较低权重。这种机制确保了模型能够更多地从高质量数据中学习。

算法实现

完整的实现代码和相关数据集已在GitHub平台开源。以下代码展示了LossVal在均方误差场景下的核心实现:

 defLossVal_mse(train_X: torch.Tensor,   
                 train_y_true: torch.Tensor, train_y_pred: torch.Tensor,  
                 val_X: torch.Tensor, sample_ids: torch.Tensor  
                 weights: torch.Tensor, device: torch.device) ->torch.Tensor:  
     weights=weights.index_select(0, sample_ids)  # 根据sample_ids选择对应的权重

     # 步骤1:计算加权均方误差损失
     loss=torch.sum((train_y_true-train_y_pred) **2, dim=1)  
     weighted_loss=torch.sum(weights@loss)  # loss为向量,weights为矩阵

     # 步骤2:计算训练集与验证集之间的Sinkhorn距离
     sinkhorn_distance=SamplesLoss(loss="sinkhorn")  
     dist_loss=sinkhorn_distance(weights, train_X, torch.ones(val_X.shape[0], requires_grad=True).to(device), val_X)  

     # 步骤3:组合MSE损失与Sinkhorn距离
     returnweighted_loss*dist_loss**2

该损失函数在PyTorch框架中的使用方式与标准损失函数类似,但需要注意以下特殊之处:函数参数中包含验证集、样本权重以及批次样本索引,这些参数对于计算批处理样本的加权损失至关重要。实现依赖PyTorch的自动微分机制,因此样本权重向量需要作为模型参数的一部分。这样设计使得权重优化可以直接利用Adam等优化器的优势。另外也可以通过手动计算损失对各权重i的梯度来更新权重。对于交叉熵损失的实现,架构相似,主要区别在于需要修改第8行的损失计算方式。

实验验证

噪声样本检测任务中各数据价值评估方法的性能对比。指标越高表示性能越好。

上图展示了各种数据价值评估方法在噪声样本检测任务中的性能对比。该任务基于OpenDataVal基准测试框架:首先在训练数据的p%样本中注入噪声,然后利用数据价值评估方法识别这些噪声样本。评估方法的性能通过其识别噪声样本的准确度(F1分数)来衡量。图中结果是在6个分类数据集和6个回归数据集上的平均表现。实验中考虑了三种噪声类型:标签噪声、特征噪声和混合噪声(其中混合噪声条件下,一半样本包含特征噪声,另一半包含标签噪声)。结果表明,在标签噪声和混合噪声场景下,LossVal的性能优于其他方法。但在特征噪声场景中,LAVA展现出更好的性能。

数据点移除实验(如下图所示)采用了类似的实验设计。该实验的目标是评估移除高价值数据点对模型性能的影响。理论上,更准确的数据价值评估方法会优先识别出更重要的数据点,因此移除这些点会导致模型性能更快下降。实验结果显示,LossVal在此任务上与当前最先进的方法达到相当的性能水平。

高价值数据点移除实验中各方法的性能对比。指标越低表示性能越好。

总结

LossVal方法的技术创新在于:通过梯度下降方法优化每个数据点的权重,从而量化数据点的重要性。

实验结果表明,LossVal在OpenDataVal基准测试中达到了领先性能水平。相比其他基于模型的方法,LossVal具有更低的时间复杂度,并在不同类型的噪声和任务场景下展现出更稳定的性能。

综上所述,LossVal为神经网络的数据价值评估提供了一种高效且有效的新方法。

论文地址:

https://avoid.overfit.cn/post/2998b89f8457448e8b26febcd706edc0

目录
相关文章
|
1月前
|
SQL 人工智能 JSON
Flink 2.1 SQL:解锁实时数据与AI集成,实现可扩展流处理
简介:本文整理自阿里云高级技术专家李麟在Flink Forward Asia 2025新加坡站的分享,介绍了Flink 2.1 SQL在实时数据处理与AI融合方面的关键进展,包括AI函数集成、Join优化及未来发展方向,助力构建高效实时AI管道。
471 43
|
1月前
|
SQL 人工智能 JSON
Flink 2.1 SQL:解锁实时数据与AI集成,实现可扩展流处理
本文整理自阿里云的高级技术专家、Apache Flink PMC 成员李麟老师在 Flink Forward Asia 2025 新加坡[1]站 —— 实时 AI 专场中的分享。将带来关于 Flink 2.1 版本中 SQL 在实时数据处理和 AI 方面进展的话题。
155 0
Flink 2.1 SQL:解锁实时数据与AI集成,实现可扩展流处理
|
4月前
|
传感器 人工智能 算法
聚焦“以技术集成支撑单亩价值创造”与“增加值分配机制区块链存证确权”两大核心本质
“振兴链-技术集成科技小院”以技术集成与区块链为核心,推动农业现代化。通过多维度技术整合(如精准农业、物联网等),突破资源约束,最大化单亩产值;同时利用区块链确权存证,建立透明分配机制,解决传统农业中收益不均问题。技术赋能生产,制度重塑分配,实现效率与公平的平衡,助力乡村振兴与产业升级。典型场景显示,该模式可显著提升单亩价值并确保增值公平分配。
|
1月前
|
SQL 关系型数据库 Apache
从 Flink 到 Doris 的实时数据写入实践 —— 基于 Flink CDC 构建更实时高效的数据集成链路
本文将深入解析 Flink-Doris-Connector 三大典型场景中的设计与实现,并结合 Flink CDC 详细介绍了整库同步的解决方案,助力构建更加高效、稳定的实时数据处理体系。
937 0
从 Flink 到 Doris 的实时数据写入实践 —— 基于 Flink CDC 构建更实时高效的数据集成链路
|
1月前
|
机器学习/深度学习 SQL 大数据
什么是数据集成?和数据融合有什么区别?
在大数据领域,“数据集成”与“数据融合”常被混淆。数据集成关注数据的物理集中,解决“数据从哪来”的问题;数据融合则侧重逻辑协同,解决“数据怎么用”的问题。两者相辅相成,集成是基础,融合是价值提升的关键。理解其差异,有助于企业释放数据潜力,避免“数据堆积”或“盲目融合”的误区,实现数据从成本到生产力的转变。
什么是数据集成?和数据融合有什么区别?
|
3月前
|
机器学习/深度学习 数据采集 存储
朴素贝叶斯处理混合数据类型,基于投票与堆叠集成的系统化方法理论基础与实践应用
本文探讨了朴素贝叶斯算法在处理混合数据类型中的应用,通过投票和堆叠集成方法构建分类框架。实验基于电信客户流失数据集,验证了该方法的有效性。文章详细分析了算法的数学理论基础、条件独立性假设及参数估计方法,并针对二元、类别、多项式和高斯分布特征设计专门化流水线。实验结果表明,集成学习显著提升了分类性能,但也存在特征分类自动化程度低和计算开销大的局限性。作者还探讨了特征工程、深度学习等替代方案,为未来研究提供了方向。(239字)
151 5
朴素贝叶斯处理混合数据类型,基于投票与堆叠集成的系统化方法理论基础与实践应用
|
3月前
|
运维 安全 数据管理
Dataphin V5.1 企业级发布:全球数据无缝集成,指标管理全新升级!
企业数据管理难题?Dataphin 5.1版来解决!聚焦跨云数据、研发效率、指标管理和平台运维四大场景,助力数据团队轻松应对挑战。无论是统一指标标准、快速定位问题,还是提升管理安全性,Dataphin都能提供强大支持。3分钟了解新版本亮点,让数据治理更高效!
|
4月前
|
传感器 供应链 物联网
农业单亩价值创造功能技术集成的概念与内涵
农业单亩价值创造的技术集成,通过系统性创新打破传统单一模式,融合现代科技与生态理念,提升资源效率、经济效益和生态价值。其核心在于技术协同,实现精准农业、智能装备和生物强化等多维联动,推动经济、生态和社会价值统一。同时,注重资源集约化与循环化利用,延伸产业链并升级价值链,从短期高产转向长期可持续发展。政策与制度创新支撑技术普惠,未来需因地制宜解决技术适配性和成本收益平衡问题,重塑农业评价体系,实现高质量发展。
|
7月前
|
人工智能 自然语言处理 Java
Spring 集成 DeepSeek 的 3大方法(史上最全)
DeepSeek 的 API 接口和 OpenAI 是兼容的。我们可以自定义 http client,按照 OpenAI 的rest 接口格式,去访问 DeepSeek。自定义 Client 集成DeepSeek ,可以通过以下步骤实现。步骤 1:准备工作访问 DeepSeek 的开发者平台,注册并获取 API 密钥。DeepSeek 提供了与 OpenAI 兼容的 API 端点(例如),确保你已获取正确的 API 地址。
Spring 集成 DeepSeek 的 3大方法(史上最全)
|
7月前
|
存储 人工智能 NoSQL
Airweave:快速集成应用数据打造AI知识库的开源平台,支持多源整合和自动同步数据
Airweave 是一个开源工具,能够将应用程序的数据同步到图数据库和向量数据库中,实现智能代理检索。它支持无代码集成、多租户支持和自动同步等功能。
397 14