EMNLP最佳长论文作者独家解读:别让机器学习放大性别偏见,其实男人也喜欢购物!

简介: 近日,自然语言处理领域顶级国际会议 EMNLP 于丹麦哥本哈根举行。EMNLP是自然语言处理三大顶级会议(ACL, EMNLP, NAACL)之一,已经于前段时间公布了录用论文及最佳论文名单。

近日,自然语言处理领域顶级国际会议 EMNLP 于丹麦哥本哈根举行。EMNLP是自然语言处理三大顶级会议(ACL, EMNLP, NAACL)之一,已经于前段时间公布了录用论文及最佳论文名单。详情可参见雷锋网(公众号:雷锋网)AI科技评论此前文章:

万字长文,深度解读11篇 EMNLP 2017 被录用论文

EMNLP 2017 最佳论文揭晓,「男人也爱逛商场」获最佳长论文

其中,弗吉尼亚大学赵洁玉、王天露、Vincente Ordonez、张凯崴及华盛顿大学的 Mark Yatskar 凭借「Men Also Like Shopping: Reducing Gender Bias Amplification using Corpus-level Constraints」摘得最佳长论文。雷锋网AI科技评论邀请了第一作者赵洁玉对此论文做了独家解读。

原文地址:https://arxiv.org/abs/1707.09457

概要

包含语言的视觉识别的任务,例如图片标题标注,视觉问答系统以及视觉语义角色标注任务已经成为从图片中获取信息的不同途径。这些任务通常依赖于大量的数据集、结构化的预测方法以及深度学习提取图片及语言中的丰富信息并以此解决这类问题。其中结构化的预测方法允许机器学习模型用标注之间的关系来提升预测的准确度。例如视觉语义角色标注任务(vSRL),需要对给定图片中所展示的动词以及与该动词相关的几个角色(工具,地点等)值进行预测。例如在图1中,考虑到铲子是一种常见的烹饪工具,结构化的预测模型会有很高的几率将“tool”预测为“spatula”。

EMNLP最佳长论文作者独家解读:别让机器学习放大性别偏见,其实男人也喜欢购物!

图1 

尽管结构化的预测方法可以为我们提供较好的预测结果,但是这类方法会学习到数据集中存在的偏差 (bias)。如果不对模型进行修改限定,此类模型会做出具有偏见的预测。例如在上图中,模型从数据集中学习到女性与做饭之间的联系,即便给定一张描述男性做饭的图片(1.4),模型仍然会预测其为女性。这种将女性与做饭之间联系更紧密的情况,反映了一种社会成见,对不同的性别均有不良的影响。

在本文中,我们针对男女两个性别进行研究,通过实验发现,模型不仅会学习到数据集中的偏差,并且会放大该偏差。我们提出了RBA算法用于解决被放大的偏差,并且验证了我们的算法可以有效的减少放大的bias同时几乎保持了原有的模型性能。

模型对偏差的放大

我们针对以下两个任务进行研究:基于imSitu数据集的视觉语义角色标注(vSRL)任务以及基于COCO数据集的多标签物体识别(MLC)任务。本文中将以vSRL(如上图1)为例进行解释。该任务的目标在于预测所给定图片中的动词,以及图片中的其它角色。

在研究模型放大偏差的过程中,我们定义了测量集合以及属性集合。前者包含了所能预测的动词,比如cooking,washing等;后者则是一些人口特征,例如性别,年龄等。我们定义针对某动词的性别比例,该比例取值[0,1],越接近于1,表明该动词越倾向于男性。

我们也定义了如何计算放大的bias。例如在训练集中,cooking的性别比例为33%,偏向于女性,但是在预测结果中,该比例变成了16%,表明这种bias被放大了17%。实验结果如下图2所示:不同的动词对不同的性别表现出不同的偏见程度。例如上文所提到的cooking更倾向于女性,此外“购物”,“洗衣”等都更偏向于女性;“驾驶”,“射击”以及“指导”则更偏向于男性。分析结果表明在vSRL任务中,所有动词平均放大的bias率为5%,在MLC任务中,该值为3%。  

EMNLP最佳长论文作者独家解读:别让机器学习放大性别偏见,其实男人也喜欢购物!

图2 

对模型的修订

验证了模型对bias的放大作用后,我们提出了RBA算法对模型进行修订以减少所放大的偏差。我们先从训练集中获取每个动词的性别比例作为参考标准,并以此限制预测的结果,即每个动词预测的性别比例应当在相应参考标准的特定范围内。通过引入这些限制条件,我们将原有的模型变成一种具有限制的预测模型。

我们提出利用拉格朗日松弛方法对此类模型求解,该方法的优点在于我们可以利用原有的预测方法而不必重新构造算法训练模型,并且在所有限制条件均满足的情况下,该算法可以保证达到最优解。具体来说,我们对每一个限制条件设置了一个拉格朗日算子,循环地根据当前的预测结果更新所有的算子,根据这些新的拉格朗日算子来更新预测算法所利用的因子值,从而可以得到新的预测结果。当所有的限制条件均满足或者已经循环了足够多的次数后,算法停止。

实验结果(图3)表明我们的算法可以有效的减少放大的偏见,并且不失原有模型的准确度。具体来说,在vSRL中,我们减少了40.5%的平均放大bias值,在MLC任务中,该值为47.5%。在准确度上,两个模型几乎保留了原有的准确度,应用算法前后只有0.1%的差距。 EMNLP最佳长论文作者独家解读:别让机器学习放大性别偏见,其实男人也喜欢购物!

Bias on vSRL without RBA                                                      Bias on vSRL with RBA

图3 算法在vSRL数据集上的结果



本文作者:奕欣
本文转自雷锋网禁止二次转载, 原文链接
目录
相关文章
|
2月前
|
机器学习/深度学习 存储 人工智能
【ACL2024】阿里云人工智能平台PAI多篇论文入选ACL2024
近期,阿里云人工智能平台PAI的多篇论文在ACL2024上入选。论文成果是阿里云与阿里集团安全部、华南理工大学金连文教授团队、华东师范大学何晓丰教授团队共同研发。ACL(国际计算语言学年会)是人工智能自然语言处理领域的顶级国际会议,聚焦于自然语言处理技术在各个应用场景的学术研究。该会议曾推动了预训练语言模型、文本挖掘、对话系统、机器翻译等自然语言处理领域的核心创新,在学术和工业界都有巨大的影响力。此次入选标志着阿里云人工智能平台PAI在自然语言处理和多模态算法、算法框架能力方面研究获得了学术界认可。
|
3月前
|
机器学习/深度学习 人工智能 分布式计算
阿里云人工智能平台PAI论文入选OSDI '24
阿里云人工智能平台PAI的论文《Llumnix: Dynamic Scheduling for Large Language Model Serving》被OSDI '24录用。论文通过对大语言模型(LLM)推理请求的动态调度,大幅提升了推理服务质量和性价比。
|
3月前
|
机器学习/深度学习 人工智能 自然语言处理
|
2月前
|
机器学习/深度学习 数据采集 自然语言处理
【NLP】讯飞英文学术论文分类挑战赛Top10开源多方案–4 机器学习LGB 方案
在讯飞英文学术论文分类挑战赛中使用LightGBM模型进行文本分类的方案,包括数据预处理、特征提取、模型训练及多折交叉验证等步骤,并提供了相关的代码实现。
36 0
|
4月前
|
机器学习/深度学习 人工智能 自然语言处理
【CVPR2024】阿里云人工智能平台PAI图像编辑算法论文入选CVPR2024
近期,阿里云人工智能平台PAI发表的图像编辑算法论文在CVPR-2024上正式亮相发表。论文成果是阿里云与华南理工大学贾奎教授领衔的团队共同研发。此次入选标志着阿里云人工智能平台PAI自主研发的图像编辑算法达到了先进水平,赢得了国际学术界的认可。在阿里云人工智能平台PAI算法团队和华南理工大学的老师学生们一同的坚持和热情下,将阿里云在图像生成与编辑领域的先进理念得以通过学术论文和会议的形式,向业界传递和展现。
|
4月前
|
机器学习/深度学习 人工智能 算法
人工智能伦理:机器学习中的数据偏见与公平性挑战
在机器学习领域,算法的公正性与透明度日益成为社会关注的焦点。本文深入探讨了AI系统在处理数据时可能遇到的偏见问题及其对社会公平性的影响。通过分析具体案例和最新研究成果,本文揭示了数据偏见如何影响算法决策,并提出了减轻这些偏见的策略。文章呼吁开发更加负责任的AI系统,以促进技术与社会价值的和谐共存。
|
4月前
|
机器学习/深度学习 数据采集 监控
探索机器学习中的数据偏见及其影响
在机器学习领域,数据偏见是一个日益受到关注的问题。本文通过分析数据偏见的来源、表现和对模型性能的影响,旨在揭示如何识别和减少这种偏见。文章首先定义了数据偏见并探讨了其产生的原因,接着通过案例分析了偏见对模型决策的具体影响,最后提出了几种减轻数据偏见的策略。研究指出,虽然完全消除数据偏见是极其困难的,但通过合理的数据处理和算法设计可以显著降低其负面影响。
|
5月前
|
机器学习/深度学习 数据采集 人工智能
论文介绍:机器学习中数据集规模增长的极限分析
【5月更文挑战第17天】论文《机器学习中数据集规模增长的极限分析》探讨了数据集大小对AI模型性能的影响,预测语言数据可能在2026年前耗尽,图像数据在2030-2060年可能面临相同问题。研究显示数据积累速度无法跟上数据集增长,可能在2030-2040年间导致训练瓶颈。然而,算法创新和新数据源的发展可能缓解这一问题。[链接](https://arxiv.org/pdf/2211.04325.pdf)
85 2
|
5月前
|
机器学习/深度学习 数据可视化 算法
【python】Python大豆特征数据分析 [机器学习版一](代码+论文)【独一无二】
【python】Python大豆特征数据分析 [机器学习版一](代码+论文)【独一无二】