GPT-4整治学术不端!人大/浙大团队实测7000篇论文,撤稿预测与人类95%一致

简介: 【4月更文挑战第15天】中国人民大学和浙江大学的研究团队利用GPT-4模型预测论文撤稿,研究基于3,505篇撤稿及未撤稿论文的推特数据,发现16%的撤稿论文提及含有预警信号,预测准确度高达92.86%。GPT-4预测一致性达95%,为学术诚信监控提供新途径。但研究受限于主观偏见、撤稿原因区分及推特互动等因素。

u=2187430776,942013939&fm=253&fmt=auto&app=138&f=JPEG.jpg
在学术界,论文的撤稿事件时有发生,这不仅损害了科学研究的严谨性,也对社会的诚信体系构成了挑战。为了及时发现问题论文并采取相应措施,中国人民大学与浙江大学的研究团队进行了一项创新性研究,利用最新的GPT-4大型语言模型对论文撤稿进行预测。这项研究不仅展示了人工智能在学术诚信领域的应用潜力,也为未来研究提供了新的视角和方法。

研究团队构建了一个包含3,505篇被撤稿论文及其相关推特提及的数据库,并选取了3,505篇未被撤稿的论文作为对照组。通过对比分析,研究者们试图探索推特上的公众讨论是否能为论文潜在的问题提供预警,从而预测论文是否会被撤稿。研究结果表明,尽管只有大约16%的被撤稿论文的推特提及中包含了预示撤稿问题的明显证据,但这些论文的撤稿预测准确度非常高,达到了92.86%。

在此基础上,研究团队进一步利用GPT-4模型进行预测实验。GPT-4是由OpenAI开发的一款先进的大型语言模型,它在自然语言理解和处理方面表现出色。在这项研究中,GPT-4展现出了令人瞩目的能力,其预测结果与人工预测的一致性达到了95%,这一发现为利用社交媒体数据预测学术不端行为提供了新的可能性。

然而,这项研究也存在一些局限性。首先,人类预测作为基准可能存在主观偏见和局限性。其次,研究没有区分论文撤稿的不同原因,如方法错误、数据错误和学术不端等,这些不同原因可能在推特提及中表现出不同的模式。此外,研究仅关注了推特文本本身,而没有考虑与推特提及相关的其他上下文因素,如转发、点赞和回复等互动行为,以及不同类型的用户在传播被撤稿论文中的作用。

论文地址:https://arxiv.org/abs/2403.16851

目录
相关文章
|
4天前
|
机器学习/深度学习 数据采集 自然语言处理
[GPT-2]论文解读:Language Models are Unsupervised Multitask Learners
[GPT-2]论文解读:Language Models are Unsupervised Multitask Learners
10 1
|
9月前
|
自然语言处理 运维 机器人
GPT学术优化 (GPT Academic):支持一键润色、一键中英互译、一键代码解释、chat分析报告生成、PDF论文全文翻译功能、互联网信息聚合+GPT等等
GPT学术优化 (GPT Academic):支持一键润色、一键中英互译、一键代码解释、chat分析报告生成、PDF论文全文翻译功能、互联网信息聚合+GPT等等
|
10月前
|
人工智能
GPT-4得不到MIT学位,MIT研究团队回应「作弊」,但网友不买账
GPT-4得不到MIT学位,MIT研究团队回应「作弊」,但网友不买账
|
11月前
|
机器学习/深度学习 人工智能 测试技术
爆火的「GPT-4 MIT本科数学满分」论文作弊,数据集本身有问题
爆火的「GPT-4 MIT本科数学满分」论文作弊,数据集本身有问题
|
机器学习/深度学习 人工智能 自然语言处理
担心GPT-3胡编乱造?谷歌推出全新「专家」系统:像论文一样回答问题
谷歌的研究人员发表的新论文提出了一种能够准确地回答用户提问的系统,其无需像传统搜索引擎一样展示所有的结果。
170 0
担心GPT-3胡编乱造?谷歌推出全新「专家」系统:像论文一样回答问题
|
机器学习/深度学习 存储 人工智能
NeurIPS 2020奖项出炉:GPT-3等三项研究获最佳论文奖,华人一作论文获时间检验奖
一万八千人参会的NeurIPS 2020 相比去年数量暴涨了三成,在大会上,1750 亿参数模型 GPT-3 再次成为了人们热议的话题。
144 0
NeurIPS 2020奖项出炉:GPT-3等三项研究获最佳论文奖,华人一作论文获时间检验奖
|
前端开发 JavaScript 安全
JavaScript 权威指南第七版(GPT 重译)(七)(4)
JavaScript 权威指南第七版(GPT 重译)(七)
29 0
|
前端开发 JavaScript 算法
JavaScript 权威指南第七版(GPT 重译)(七)(3)
JavaScript 权威指南第七版(GPT 重译)(七)
38 0
|
前端开发 JavaScript Unix
JavaScript 权威指南第七版(GPT 重译)(七)(2)
JavaScript 权威指南第七版(GPT 重译)(七)
43 0
|
前端开发 JavaScript 算法
JavaScript 权威指南第七版(GPT 重译)(七)(1)
JavaScript 权威指南第七版(GPT 重译)(七)
66 0