MIT新研究揭秘AI洗脑术!AI聊天诱导人类编造记忆,真假难辨

简介: 麻省理工学院的一项新研究《基于大型语言模型的对话式AI在证人访谈中加剧虚假记忆》显示,使用生成式聊天机器人进行犯罪证人访谈会显著增加参与者的虚假记忆,且影响持久。研究设置了对照组、问卷访谈、预设脚本及生成式聊天机器人四种条件,结果显示生成式聊天机器人诱导的虚假记忆数量远超其他方法。尽管AI技术在效率和准确性方面潜力巨大,但在敏感领域需谨慎应用,并需进一步评估风险,制定伦理准则和监管措施。论文详细内容见[这里](https://arxiv.org/abs/2408.04681)。

近年来,人工智能(AI)技术在各个领域的应用越来越广泛,其中自然语言处理技术的发展使得AI在对话系统中展现出了惊人的能力。然而,一项来自麻省理工学院(MIT)的最新研究却揭示了AI在对话中可能存在的风险。

这项研究名为《基于大型语言模型的对话式AI在证人访谈中加剧虚假记忆》,研究团队通过模拟犯罪证人访谈的实验,探索了AI在人类虚假记忆形成过程中的影响。研究结果表明,使用基于大型语言模型的生成式聊天机器人进行访谈,显著增加了参与者的虚假记忆形成,并且这种影响在一周后仍然存在。

研究团队设计了四种不同的实验条件:对照组、基于问卷的访谈、预设脚本的聊天机器人和基于大型语言模型的生成式聊天机器人。参与者在观看了一段犯罪视频后,与他们被分配的AI访谈者或问卷进行互动,并回答了一系列问题,其中包含五个具有误导性的问题。研究团队在访谈结束后立即评估了参与者的虚假记忆,并在一周后再次评估。

结果显示,在使用生成式聊天机器人的条件下,参与者的虚假记忆形成显著增加。与对照组相比,生成式聊天机器人诱导的即时虚假记忆数量是对照组的3倍以上;与基于问卷的方法相比,生成式聊天机器人诱导的即时虚假记忆数量是问卷方法的1.7倍。此外,在与生成式聊天机器人的互动中,有36.4%的用户回答被误导。一周后,生成式聊天机器人诱导的虚假记忆数量保持不变,但用户对这些虚假记忆的信心仍然高于对照组。

研究还探索了可能影响虚假记忆形成的调节因素。结果发现,对聊天机器人不太熟悉但对AI技术更熟悉的用户,以及对犯罪调查更感兴趣的用户,更容易受到虚假记忆的影响。

这项研究的发现引发了对AI在敏感场景中应用的伦理考虑。虽然AI技术在提高效率和准确性方面具有巨大潜力,但在涉及人类记忆和证词的领域,如警察审讯或法庭证词,AI的使用可能需要更加谨慎。研究团队强调,在将AI技术应用于这些领域之前,需要进行更多的研究来评估其潜在风险,并制定相应的伦理准则和监管措施。

然而,我们也应该认识到,这项研究的结果并不意味着AI技术本身存在缺陷或不可信赖。相反,它提醒我们在使用AI技术时需要更加谨慎和负责任。通过合理的设计和监管,我们可以最大限度地发挥AI技术的潜力,同时减少其可能带来的风险。

此外,这项研究还为我们提供了一个有趣的视角,即AI技术如何影响人类的认知和记忆。它提醒我们,在与AI互动的过程中,我们应该保持批判性思维,并对所接收到的信息进行验证和评估。只有这样,我们才能更好地应对AI技术带来的挑战和机遇。

论文地址:https://arxiv.org/abs/2408.04681

目录
打赏
0
2
2
1
396
分享
相关文章
vue3.5接入deepseek-v3网页版ai流式多轮聊天问答助手
vue3-deepseek-webai:原创新作vite6+vue3.5+deepseek-v3+arco-design实战一款高颜值网页版ai多轮输出对话小助手。
215 14
90.9K star!一键部署AI聊天界面,这个开源项目让大模型交互更简单!
"像使用微信一样操作大模型!Open WebUI 让AI对话从未如此简单"
AutoGLM沉思:智谱AI推出首个能"边想边干"的自主智能体!深度研究+多模态交互,颠覆传统AI工作模式
AutoGLM沉思是由智谱AI推出的一款开创性AI智能体,它突破性地将深度研究能力与实际操作能力融为一体,实现了AI从被动响应到主动执行的跨越式发展。
175 16
AutoGLM沉思:智谱AI推出首个能"边想边干"的自主智能体!深度研究+多模态交互,颠覆传统AI工作模式
Shandu:开源AI研究黑科技!自动挖掘多层级信息,智能生成结构化报告
Shandu 是一款开源的 AI 研究自动化工具,结合 LangChain 和 LangGraph 技术,能够自动化地进行多层次信息挖掘和分析,生成结构化的研究报告,适用于学术研究、市场分析和技术探索等多种场景。
266 8
Shandu:开源AI研究黑科技!自动挖掘多层级信息,智能生成结构化报告
PRefLexOR:MIT自进化AI框架上线!动态知识图谱+跨域推理,重塑自主思考
PRefLexOR 是 MIT 团队推出的新型自学习 AI 框架,结合偏好优化和强化学习,通过递归推理和多步反思,动态生成知识图谱,支持跨领域推理和自主学习。
161 3
PRefLexOR:MIT自进化AI框架上线!动态知识图谱+跨域推理,重塑自主思考
|
2月前
|
MIT 76页深度报告:AI加速创新马太效应,科学家产出分化加剧!缺乏判断力将被淘汰
近日,麻省理工学院(MIT)发布了一份76页的深度研究报告,探讨AI对科学发现和创新的影响。研究对象为1018名美国科学家,结果显示AI使新材料发现增加44%,专利申请增长39%,产品创新提升17%。然而,AI对高能力科学家的产出提升更显著,加剧了科学家间的分化。AI还改变了科学家的工作内容,减少了创意构思时间,增加了评估任务,导致工作满意度下降,但科学家对AI的信心增强。报告全面分析了AI带来的机遇与挑战。论文地址:https://conference.nber.org/conf_papers/f210475.pdf
85 14
ProtGPS:MIT再造生命科学新基建!蛋白质AI一键预测定位+设计新序列,登Nature子刊
ProtGPS 是麻省理工学院和怀特黑德研究所联合开发的蛋白质语言模型,能够预测蛋白质在细胞内的亚细胞定位,并设计具有特定亚细胞定位的新型蛋白质。
176 17
ProtGPS:MIT再造生命科学新基建!蛋白质AI一键预测定位+设计新序列,登Nature子刊
牛逼,这款开源聊天应用竟能一键召唤多个AI助手,跨平台通话神器!
`JiwuChat`是一款基于Tauri2和Nuxt3构建的轻量化多平台即时通讯工具,仅约8MB体积却集成了**AI群聊机器人**、**WebRTC音视频通话**、**屏幕共享**等前沿功能。一套代码适配Windows/macOS/Linux/Android/iOS/Web六大平台,堪称开发者学习跨端开发的绝佳样板!
106 8
通古大模型:古籍研究者狂喜!华南理工开源文言文GPT:AI自动断句+写诗翻译,24亿语料喂出来的学术神器
通古大模型由华南理工大学开发,专注于古籍文言文处理,具备强大的古文句读、文白翻译和诗词创作功能。
304 11
通古大模型:古籍研究者狂喜!华南理工开源文言文GPT:AI自动断句+写诗翻译,24亿语料喂出来的学术神器
【01】人形机器人研究试验-被有些网友痛骂“工业垃圾”“人工智障”上春晚的人形AI机器人-宇树科技机器人到底怎么样??-本系列优雅草卓伊凡亲自尝试下人形机器人的制造-从0开始学习并且制作机器人-可以跟随卓伊凡
【01】人形机器人研究试验-被有些网友痛骂“工业垃圾”“人工智障”上春晚的人形AI机器人-宇树科技机器人到底怎么样??-本系列优雅草卓伊凡亲自尝试下人形机器人的制造-从0开始学习并且制作机器人-可以跟随卓伊凡
144 1
【01】人形机器人研究试验-被有些网友痛骂“工业垃圾”“人工智障”上春晚的人形AI机器人-宇树科技机器人到底怎么样??-本系列优雅草卓伊凡亲自尝试下人形机器人的制造-从0开始学习并且制作机器人-可以跟随卓伊凡

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等