【CAMEL】Communicative Agents for “Mind”Exploration of Large Scale Language Model Society

简介: 【CAMEL】Communicative Agents for “Mind”Exploration of Large Scale Language Model Society

所解决的问题?

目前的语言模型还是需要人类的输入来进行指导对话,在时间开销上会很大。这篇文章提出一种新的智能体通信框架角色扮演(role-playing)。作者采用了一个叫做初始Prompt的东西(inception prompting)来做这样一件事情。也就是只在开始人为给定prompt,之后就全靠智能体自己去对话探索了。

人话来说就是,目前主流的基于大模型的应用都是人肉去调prompt,这个非常耗费开销。作者提出了一种方法,让智能体之间进行对话,进而自动去完成任务,而过程中无需人为干预。

背景

目前多智能体间的通信也是研究的一个热点问题,但是主流的通信是基于一些只有智能体才能看懂的向量。而人类语言间的通信能否作用到计算机里面呢?实现智能体间的通信?或者更近一步实现人机通信,人机协作?

知识蒸馏可以实现知识从老师到学生之间的传递,大体也是可以被分成三类:Response-based, Feature-based, and Relation-based。更多的是去抓住模型中的知识,而作者所提出来的方法,是去处理对话智能体“思想”上的探索。

所采用的方法?

大体上是有两个智能体,也就是大语言模型:AI assistant和AI user。当给定一个初始的任务时,一个task-specifier agent将会将任务拆解,描绘更加细致的任务给到AI assistant和AI user,然后他两就开始对话完成任务了:

另外作者还提及到了一些在设计prompt的时候需要注意的点:

  1. 在两个智能体对话的时候,常常会角色互换,因此需要好好设计一下这个prompt,比如对于AI assistant,就告诉他,好好执行就行了,不要提问题。
  2. 另一个是assistan repeats,assistant会重复user‘s 的prompt。
  3. 虚假回复,比如assistant保证会完成某个任务,实际上没有完成。
  4. 无限消息循环,智能体之间的消息无限循环。

取得的效果?

作者也就是对这个实验结果做了一些分析,可视化等等就完事了。

问题

所出版信息?作者信息?

  • King Abdullah University of Science and Technology (KAUST)

参考链接

相关文章
|
9月前
|
自然语言处理 算法
SIFRank New Baseline for Unsupervised Keyphrase Extraction Based on Pre-Trained Language Model
在社交媒体上,面临着大量的知识和信息,一个有效的关键词抽取算法可以广泛地被应用的信息检索和自然语言处理中。传统的关键词抽取算法很难使用外部的知识信息。
94 0
SIFRank New Baseline for Unsupervised Keyphrase Extraction Based on Pre-Trained Language Model
|
9月前
|
自然语言处理 算法 vr&ar
X-GEAR:Multilingual Generative Language Models for Zero-Shot Cross-Lingual Event Argument Extraction
我们提出了一项利用多语言预训练生成语言模型进行零样本跨语言事件论元抽取(EAE)的研究。通过将EAE定义为语言生成任务,我们的方法有效地编码事件结构并捕获论元之间的依赖关系。
77 0
|
7月前
|
数据挖掘
【提示学习】Prompt Tuning for Multi-Label Text Classification: How to Link Exercises to Knowledge Concept
文章这里使用的是BCEWithLogitsLoss,它适用于多标签分类。即:把[MASK]位置预测到的词表的值进行sigmoid,取指定阈值以上的标签,然后算损失。
|
7月前
|
自然语言处理 数据挖掘 数据处理
【提示学习】Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference
目前流行的第四大范式Prompt的主流思路是PVP,即Pattern-Verbalizer-Pair,主打的就是Pattern(模板)与Verbalizer(标签映射器)。   本文基于PVP,提出PET与iPET,但是关注点在利用半监督扩充自己的数据集,让最终模型学习很多样本,从而达到好效果。
|
9月前
|
自然语言处理 算法 知识图谱
DEGREE: A Data-Efficient Generation-Based Event Extraction Model论文解读
事件抽取需要专家进行高质量的人工标注,这通常很昂贵。因此,学习一个仅用少数标记示例就能训练的数据高效事件抽取模型已成为一个至关重要的挑战。
73 0
|
9月前
|
机器学习/深度学习 存储 数据采集
DCFEE: A Document-level Chinese Financial Event Extraction System based on Automatically Labeled论文解读
我们提出了一个事件抽取框架,目的是从文档级财经新闻中抽取事件和事件提及。到目前为止,基于监督学习范式的方法在公共数据集中获得了最高的性能(如ACE 2005、KBP 2015)。这些方法严重依赖于人工标注的训练数据。
69 0
|
10月前
|
人工智能 自然语言处理 算法
Tree of Thoughts: Deliberate Problem Solving with Large Language Models
Tree of Thoughts: Deliberate Problem Solving with Large Language Models
263 0
|
12月前
|
机器学习/深度学习 存储 传感器
Automated defect inspection system for metal surfaces based on deep learning and data augmentation
简述:卷积变分自动编码器(CVAE)生成特定的图像,再使用基于深度CNN的缺陷分类算法进行分类。在生成足够的数据来训练基于深度学习的分类模型之后,使用生成的数据来训练分类模型。
98 0
|
12月前
|
机器学习/深度学习 算法 图形学
Deep learning based multi-scale channel compression feature surface defect detection system
简述:首先应用背景分割和模板匹配技术来定义覆盖目标工件的ROI区域。提取的感兴趣区域被均匀地裁剪成若干个图像块,每个块被送到基于CNN的模型,以分类杂乱背景中不同大小的表面缺陷。最后,对空间上相邻且具有相同类别标签的图像块进行合并,以生成各种表面缺陷的识别图。
106 0
|
机器学习/深度学习 传感器 编解码
Remote Sensing Images Semantic Segmentation with General Remote Sensing Vision Model via a Self-Supe
Remote Sensing Images Semantic Segmentation with General Remote Sensing Vision Model via a Self-Supe
75 0
Remote Sensing Images Semantic Segmentation with General Remote Sensing Vision Model via a Self-Supe