GPT-4整治学术不端!人大/浙大团队实测7000篇论文,撤稿预测与人类95%一致

简介: 【4月更文挑战第15天】中国人民大学和浙江大学的研究团队利用GPT-4模型预测论文撤稿,研究基于3,505篇撤稿及未撤稿论文的推特数据,发现16%的撤稿论文提及含有预警信号,预测准确度高达92.86%。GPT-4预测一致性达95%,为学术诚信监控提供新途径。但研究受限于主观偏见、撤稿原因区分及推特互动等因素。

u=2187430776,942013939&fm=253&fmt=auto&app=138&f=JPEG.jpg
在学术界,论文的撤稿事件时有发生,这不仅损害了科学研究的严谨性,也对社会的诚信体系构成了挑战。为了及时发现问题论文并采取相应措施,中国人民大学与浙江大学的研究团队进行了一项创新性研究,利用最新的GPT-4大型语言模型对论文撤稿进行预测。这项研究不仅展示了人工智能在学术诚信领域的应用潜力,也为未来研究提供了新的视角和方法。

研究团队构建了一个包含3,505篇被撤稿论文及其相关推特提及的数据库,并选取了3,505篇未被撤稿的论文作为对照组。通过对比分析,研究者们试图探索推特上的公众讨论是否能为论文潜在的问题提供预警,从而预测论文是否会被撤稿。研究结果表明,尽管只有大约16%的被撤稿论文的推特提及中包含了预示撤稿问题的明显证据,但这些论文的撤稿预测准确度非常高,达到了92.86%。

在此基础上,研究团队进一步利用GPT-4模型进行预测实验。GPT-4是由OpenAI开发的一款先进的大型语言模型,它在自然语言理解和处理方面表现出色。在这项研究中,GPT-4展现出了令人瞩目的能力,其预测结果与人工预测的一致性达到了95%,这一发现为利用社交媒体数据预测学术不端行为提供了新的可能性。

然而,这项研究也存在一些局限性。首先,人类预测作为基准可能存在主观偏见和局限性。其次,研究没有区分论文撤稿的不同原因,如方法错误、数据错误和学术不端等,这些不同原因可能在推特提及中表现出不同的模式。此外,研究仅关注了推特文本本身,而没有考虑与推特提及相关的其他上下文因素,如转发、点赞和回复等互动行为,以及不同类型的用户在传播被撤稿论文中的作用。

论文地址:https://arxiv.org/abs/2403.16851

目录
相关文章
|
12天前
|
机器学习/深度学习 人工智能 自然语言处理
o1医学领域大胜GPT-4,性能暴涨!顶尖华人团队激动发文:离AI医生越来越近了
【10月更文挑战第29天】近日,一支顶尖华人团队发布论文《A Preliminary Study of o1 in Medicine: Are We Closer to an AI Doctor?》,揭示了OpenAI最新语言模型o1在医学领域的卓越表现。研究显示,o1在概念识别、文本总结、问答等任务上远超GPT-4,显著提升了医学领域的AI应用水平,向实现AI医生的目标迈进了一大步。
24 3
|
22天前
|
人工智能 语音技术 UED
仅用4块GPU、不到3天训练出开源版GPT-4o,这是国内团队最新研究
【10月更文挑战第19天】中国科学院计算技术研究所提出了一种名为LLaMA-Omni的新型模型架构,实现与大型语言模型(LLMs)的低延迟、高质量语音交互。该模型集成了预训练的语音编码器、语音适配器、LLM和流式语音解码器,能够在不进行语音转录的情况下直接生成文本和语音响应,显著提升了用户体验。实验结果显示,LLaMA-Omni的响应延迟低至226ms,具有创新性和实用性。
41 1
|
29天前
|
机器学习/深度学习 人工智能 算法
【大语言模型-论文速读】GPT的不确定性判断
【大语言模型-论文速读】GPT的不确定性判断
39 0
|
4月前
|
人工智能 自然语言处理 计算机视觉
推荐收藏!2024年新版GPT详细论文润色指南【更新至2024年4月30日】
推荐收藏!2024年新版GPT详细论文润色指南【更新至2024年4月30日】
207 0
|
6月前
|
机器学习/深度学习 数据采集 自然语言处理
[GPT-2]论文解读:Language Models are Unsupervised Multitask Learners
[GPT-2]论文解读:Language Models are Unsupervised Multitask Learners
201 1
|
6月前
|
机器学习/深度学习 JSON 自然语言处理
[GPT-1]论文实现:Improving Language Understanding by Generative Pre-Training
[GPT-1]论文实现:Improving Language Understanding by Generative Pre-Training
106 1
|
数据采集 人工智能 监控
【网安AIGC专题11.1】论文13:理解和解释代码,GPT-3大型语言模型&学生创建的代码解释比较+错误代码的解释(是否可以发现并改正)
【网安AIGC专题11.1】论文13:理解和解释代码,GPT-3大型语言模型&学生创建的代码解释比较+错误代码的解释(是否可以发现并改正)
144 0
|
机器学习/深度学习 人工智能 测试技术
三篇论文:速览GPT在网络安全最新论文中的应用案例
三篇论文:速览GPT在网络安全最新论文中的应用案例
185 0
|
机器学习/深度学习 自然语言处理 安全
【网安AIGC专题10.11】论文1:生成式模型GPT\CodeX填充式模型CodeT5\INCODER+大模型自动程序修复(生成整个修复函数、修复代码填充、单行代码生产、生成的修复代码排序和过滤)
【网安AIGC专题10.11】论文1:生成式模型GPT\CodeX填充式模型CodeT5\INCODER+大模型自动程序修复(生成整个修复函数、修复代码填充、单行代码生产、生成的修复代码排序和过滤)
188 0
|
人工智能
GPT-4得不到MIT学位,MIT研究团队回应「作弊」,但网友不买账
GPT-4得不到MIT学位,MIT研究团队回应「作弊」,但网友不买账

热门文章

最新文章