论文造假被AI抓:机器学习检测出4000多论文造假,一年损失高达10亿美元

简介:

“打击论文造假,维护科研正义”。这不是一句喊口号的话。

今年6月,斯坦福大学微生物学家分析了2009-2016年发表在分子与细胞生物学(MCB)上的960篇论文,发现其中59篇(6.1%)含有“不适当的”重复图像,约有2%值得再去进行图像证伪

不过,斯坦福大学微生物学家的工作完全依靠手动,五位研究人员靠十只手从近1000篇论文里总结出了这一成果。

7de34b1896f965e4aa86b2a413b920985722ed2a

现在,AI的介入让论文中的可疑图像被发现的概率大大提升,一个显著的成果是,在生物医学领域的论文中,AI已经搜索出9%的图像是高度重复的,0.59%的论文被认为存在欺诈嫌疑

用AI打击论文图像造假,仍有4000多篇医学“问题论文”

使用AI来打击论文图像造假的工作是由纽约雪城大学(Syracuse University)机器学习研究员开发算法,他们分析了PubMed Open Access子集(PMOS)中截止到2015年发布的所有数据,包含了760036篇文章、超过200万的数据。

研究人员构建了一个pipeline,以自动检测不适合图像重用候选对象,在初步检测之后,删除了可能只是文本的图像或表示为图像的方程式,留下了大约200万张图片。

接着,研究人员发现每张图像平均有大约1K高熵关键点,这产生了大的相似度检测问题,研究人员使用近似最近邻算法来解决这个问题。之后,机器学习算法来估计是否显示生物图像。

4097987a500cdfdf7d18de82bf9cff0a7b779487

检测复制-移动重用。A.癌变细胞和缩小部分的原始例子。B.关键点(高熵区域)的计算C.最近邻匹配。D.集群关键点、跨集群匹配和仿射变换。

最后,使用人工来评估不当重用。

算法检测图像区域重用,同时对旋转、裁剪、调整大小和对比度变化具有鲁棒性。总的来说,这项研究得出一个结论:在PubMed Open Access上,大约有0.59%的文章会被一致认为是具有欺骗性的。也就是说,在760036篇文章里面,大约有4484篇文章涉嫌造假

论文图像篡改可能导致一年损失10亿美元

学术研究论文中的图像造假的祸害十分普遍。

两个星期前,Science联合撤稿观察发布了一个“撤稿”报告,许多数字令人震惊:过去10年里学术期刊撤回的论文数量增加了10倍,撤稿率最高的国家中国排第7,撤稿最多的10位作者中,中国占了两人。

acb1623ef128b15d3bec33bd00bab472c985a7bb

Top 10撤稿作者(数据来自Science)

在撤稿观察的数据库中,有18000份研究论文被撤回(最早可追溯到20世纪70年代),其中,317篇被撤回论文进行了图像篡改,约占整体论文的1.7%。

81b0acb9843c9b2f17ee1ee8b7730688aad9c97c

宾夕法尼亚大学生物工程副教授Arjun Raj早在2012年就指出,平均一篇生物医学研究论文背后的科学成本约为30万美元至50万美元。而柳叶刀报道称,美国研究人员在当年发表了近152000篇论文。

这样推算,即使每篇论文成本30万美元,美国研究人员在2012年发表的所有生物医学科学论文的成本也将接近500亿美元

如果2%的论文因为图像伪造需要撤回,美国可能会在2012年浪费接近10亿美元。随着全球科学产量每九年翻一番,照此计算,自2012年以来,因撤稿产生的负利润率可能会更大。

图像篡改向来如此糟糕吗?

有些研究人员认为,这么多年来,论文图像篡改问题一直在恶化。

来自美国研究诚信办公室(the United States Office of Research Integrity,ORI)的数据表明,在Photoshop发布后,他们所处理的涉及图像处理的案件比例有所增加。

8ca6bf1897cac7bcf1e5fabb7c23e02e401d40d4

技术在打击论文造假的过程中,一直是一场“猫鼠游戏”。AI除了检测图像区域重用,也成为对抗Photoshop的利器。

今年9月,Scientific Reports发表了一篇论文,文章指出,基于植物Rhus toxicondendron (毒性常春藤)的稀释度非常高的顺势疗法,至少与减轻疼痛的药物(加巴喷丁)一样有效。

不过,很快这篇介绍顺势疗法的论文,被生物学家Enrico Bucci使用的一款软件标记出来错误:在两种不同的实验中,所建议的药物浓度差别很大,而其图表却惊人地一致。

37ba2cb66749b653345f548e4917c85bb449b64a

后来,论文作者回应称,他的的团队在准备手稿时犯了一些无意的错误,导致重复的图像和重复的数据。

作者表示,文本和数字之间的差异是错别字的结果。该小组将要求Scientific Reports更新该文章并进行更正。但也表示,“这不会以任何方式改变科学结论”。

AI距离自动打击论文造假还有多远?

然而,即使基于软件的方法已经被广泛讨论了近十年,使用此类应用程序的公司还是很少用软件发布他们的结果。

基于软件的方法仍然需要人为的监督支持。检测图像处理软件的开发有可能增加扫描图像期刊的数量。然而,需要注意的是,软件的使用并不能消除对人为干预的需求。软件的输出必须由人来评估。

一个领域是软件开发有可能对大型文章数据库的图像复制检测产生巨大影响,使用视觉检查技术不可能进行这种大规模的比较。

AI来检测论文图像造假在未来可能有两种形式。一是,公司可以为期刊编辑提供定制的应用程序,然后编辑可以使用这些应用程序对即将发表的论文进行分析,这可能类似于反抄袭软件的工作方式。

而另一种方法是,图像完整性分析公司将自己的人力和计算机资源分配给期刊进行图像完整性检查。

随着自动化的图像分析软件演变为一个企业,那些造假的研究人员可能会发现他们的计量很难再“瞒天过海”。然后,也许会出现另一个更为复杂的工具,使得造假的图像更难以被发现,这场“猫鼠游戏”更能还将继续。


原文发布时间为:2018-11-11

本文作者:克雷格、三石

本文来自云栖社区合作伙伴新智元,了解相关信息可以关注“AI_era”。

原文链接:论文造假被AI抓:机器学习检测出4000多论文造假,一年损失高达10亿美元

相关文章
|
1月前
|
机器学习/深度学习 人工智能 安全
探索AI的未来:从机器学习到深度学习
【10月更文挑战第28天】本文将带你走进AI的世界,从机器学习的基本概念到深度学习的复杂应用,我们将一起探索AI的未来。你将了解到AI如何改变我们的生活,以及它在未来可能带来的影响。无论你是AI专家还是初学者,这篇文章都将为你提供新的视角和思考。让我们一起探索AI的奥秘,看看它将如何塑造我们的未来。
77 3
|
14天前
|
机器学习/深度学习 人工智能 自然语言处理
【NeurIPS'24】阿里云 PAI 团队论文被收录为 Spotlight,并完成主题演讲分享
12月10日,NeurIPS 2024在温哥华开幕,阿里云PAI团队论文《PertEval: Unveiling Real Knowledge Capacity of LLMs with Knowledge-Invariant Perturbations》入选Spotlight,PAI团队还进行了“可信AI的技术解读与最佳实践”主题演讲,展示AI工程化平台产品能力。
|
27天前
|
人工智能 监控 安全
大模型训练遭投毒损失千万美元?Anthropic惊人发现:LLM植入炸弹,代码库暗藏bug!
在AI领域,前沿语言模型的快速发展引人注目,但也带来了潜在的灾难性风险。Anthropic等机构研究了模型的破坏性能力,即模型在特定情境下通过隐蔽手段破坏人类评估、监控或决策的能力。研究团队设计了模拟部署场景的评估方法,对Claude 3 Opus和Claude 3.5 Sonnet模型进行了评估,发现这些模型在当前监督下未达到破坏性能力的阈值,但随着能力提升,未来可能需要更严格的评估和缓解措施。
30 4
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
机器学习之解释性AI与可解释性机器学习
随着人工智能技术的广泛应用,机器学习模型越来越多地被用于决策过程。然而,这些模型,尤其是深度学习模型,通常被视为“黑箱”,难以理解其背后的决策逻辑。解释性AI(Explainable AI, XAI)和可解释性机器学习(Interpretable Machine Learning, IML)旨在解决这个问题,使模型的决策过程透明、可信。
64 2
|
1月前
|
机器学习/深度学习 数据采集 人工智能
揭秘AI:机器学习的魔法与代码
【10月更文挑战第33天】本文将带你走进AI的世界,了解机器学习的原理和应用。我们将通过Python代码示例,展示如何实现一个简单的线性回归模型。无论你是AI新手还是有经验的开发者,这篇文章都会给你带来新的启示。让我们一起探索AI的奥秘吧!
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
探索AI的奥秘:机器学习入门指南
【10月更文挑战第30天】本篇文章是一份初学者友好的机器学习入门指南,旨在帮助读者理解并开始实践机器学习。我们将介绍机器学习的基本概念,包括监督学习、无监督学习和强化学习等。我们还将提供一些实用的代码示例,以帮助读者更好地理解和应用这些概念。无论你是编程新手,还是有一定经验的开发者,这篇文章都将为你提供一个清晰的机器学习入门路径。
40 2
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
【EMNLP2024】阿里云人工智能平台 PAI 多篇论文入选 EMNLP2024
阿里云人工智能平台 PAI 的多篇论文在 EMNLP2024 上入选。论文成果是阿里云与华南理工大学金连文教授团队、复旦大学王鹏教授团队共同研发。EMNLP 是人工智能自然语言处理领域的顶级国际会议,聚焦于自然语言处理技术在各个应用场景的学术研究,尤其重视自然语言处理的实证研究。该会议曾推动了预训练语言模型、文本挖掘、对话系统、机器翻译等自然语言处理领域的核心创新,在学术和工业界都有巨大的影响力。此次入选标志着阿里云人工智能平台 PAI 在自然语言处理和多模态算法能力方面研究获得了学术界认可。
|
1月前
|
机器学习/深度学习 数据采集 人工智能
揭秘AI的魔法:机器学习如何改变我们的世界
【10月更文挑战第22天】在这篇文章中,我们将深入探讨机器学习的奥秘,揭示它是如何在我们的日常生活中扮演着越来越重要的角色。从简单的数据分类到复杂的预测模型,机器学习的应用已经渗透到各个领域。我们将通过实例和代码示例,展示机器学习的基本概念、工作原理以及它如何改变我们的生活。无论你是科技爱好者还是对AI充满好奇的初学者,这篇文章都将为你打开一扇通往未来的大门。
|
1月前
|
机器学习/深度学习 人工智能 自动驾驶
揭秘AI:机器学习如何改变我们的世界
在这篇文章中,我们将深入探讨机器学习如何改变我们的世界。从自动驾驶汽车到智能医疗诊断,机器学习正在逐步渗透到我们生活的每一个角落。我们将通过实例和代码示例,揭示机器学习的工作原理,以及它如何影响我们的生活。无论你是科技爱好者,还是对人工智能充满好奇的普通读者,这篇文章都将为你打开一扇新的大门,带你走进机器学习的世界。
34 0
|
1月前
|
机器学习/深度学习 数据采集 人工智能
自动化测试的未来:AI与机器学习的融合之路
【10月更文挑战第41天】随着技术的快速发展,软件测试领域正经历一场由人工智能和机器学习驱动的革命。本文将探讨这一趋势如何改变测试流程、提高测试效率以及未来可能带来的挑战和机遇。我们将通过具体案例分析,揭示AI和ML在自动化测试中的应用现状及其潜力。
46 0

热门文章

最新文章