【CAMEL】Communicative Agents for “Mind”Exploration of Large Scale Language Model Society

简介: 【CAMEL】Communicative Agents for “Mind”Exploration of Large Scale Language Model Society

所解决的问题?

目前的语言模型还是需要人类的输入来进行指导对话,在时间开销上会很大。这篇文章提出一种新的智能体通信框架角色扮演(role-playing)。作者采用了一个叫做初始Prompt的东西(inception prompting)来做这样一件事情。也就是只在开始人为给定prompt,之后就全靠智能体自己去对话探索了。

人话来说就是,目前主流的基于大模型的应用都是人肉去调prompt,这个非常耗费开销。作者提出了一种方法,让智能体之间进行对话,进而自动去完成任务,而过程中无需人为干预。

背景

目前多智能体间的通信也是研究的一个热点问题,但是主流的通信是基于一些只有智能体才能看懂的向量。而人类语言间的通信能否作用到计算机里面呢?实现智能体间的通信?或者更近一步实现人机通信,人机协作?

知识蒸馏可以实现知识从老师到学生之间的传递,大体也是可以被分成三类:Response-based, Feature-based, and Relation-based。更多的是去抓住模型中的知识,而作者所提出来的方法,是去处理对话智能体“思想”上的探索。

所采用的方法?

大体上是有两个智能体,也就是大语言模型:AI assistant和AI user。当给定一个初始的任务时,一个task-specifier agent将会将任务拆解,描绘更加细致的任务给到AI assistant和AI user,然后他两就开始对话完成任务了:

另外作者还提及到了一些在设计prompt的时候需要注意的点:

  1. 在两个智能体对话的时候,常常会角色互换,因此需要好好设计一下这个prompt,比如对于AI assistant,就告诉他,好好执行就行了,不要提问题。
  2. 另一个是assistan repeats,assistant会重复user‘s 的prompt。
  3. 虚假回复,比如assistant保证会完成某个任务,实际上没有完成。
  4. 无限消息循环,智能体之间的消息无限循环。

取得的效果?

作者也就是对这个实验结果做了一些分析,可视化等等就完事了。

问题

所出版信息?作者信息?

  • King Abdullah University of Science and Technology (KAUST)

参考链接

相关文章
|
2月前
|
机器学习/深度学习 人工智能 监控
理解LLMOps: Large Language Model Operations
理解LLMOps: Large Language Model Operations
70 1
|
5月前
|
机器学习/深度学习 自然语言处理 TensorFlow
[Character Embedding]论文实现:Text Understanding from Scratch
[Character Embedding]论文实现:Text Understanding from Scratch
27 2
|
5月前
|
自然语言处理 算法 Python
[SentencePiece]论文解读:SentencePiece: A simple and language independent subword tokenizer...
[SentencePiece]论文解读:SentencePiece: A simple and language independent subword tokenizer...
68 0
|
5月前
|
Python
[UNILM]论文实现:Unified Language Model Pre-training for Natural Language.........
[UNILM]论文实现:Unified Language Model Pre-training for Natural Language.........
39 0
|
5月前
|
机器学习/深度学习 数据挖掘 Python
[Bart]论文实现:Denoising Sequence-to-Sequence Pre-training for Natural Language Generation...
[Bart]论文实现:Denoising Sequence-to-Sequence Pre-training for Natural Language Generation...
39 0
|
12月前
|
存储 自然语言处理 数据可视化
【提示学习】AUTOPROMPT: Eliciting Knowledge from Language Models with Automatically Generated Prompts
Prompt任务需要构建合适的Pattern,但是编写合适的Pattern需要手动工作和人为猜测,有很大的不确定性。为了解决这个问题,提出AUTOPROMPT模型,基于梯度下降搜索来创建Pattern。
128 0
|
自然语言处理 算法
SIFRank New Baseline for Unsupervised Keyphrase Extraction Based on Pre-Trained Language Model
在社交媒体上,面临着大量的知识和信息,一个有效的关键词抽取算法可以广泛地被应用的信息检索和自然语言处理中。传统的关键词抽取算法很难使用外部的知识信息。
151 0
SIFRank New Baseline for Unsupervised Keyphrase Extraction Based on Pre-Trained Language Model
|
自然语言处理 算法 vr&ar
X-GEAR:Multilingual Generative Language Models for Zero-Shot Cross-Lingual Event Argument Extraction
我们提出了一项利用多语言预训练生成语言模型进行零样本跨语言事件论元抽取(EAE)的研究。通过将EAE定义为语言生成任务,我们的方法有效地编码事件结构并捕获论元之间的依赖关系。
104 0
|
12月前
|
自然语言处理 数据挖掘 数据处理
【提示学习】Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference
目前流行的第四大范式Prompt的主流思路是PVP,即Pattern-Verbalizer-Pair,主打的就是Pattern(模板)与Verbalizer(标签映射器)。   本文基于PVP,提出PET与iPET,但是关注点在利用半监督扩充自己的数据集,让最终模型学习很多样本,从而达到好效果。
|
12月前
|
数据挖掘
【提示学习】Prompt Tuning for Multi-Label Text Classification: How to Link Exercises to Knowledge Concept
文章这里使用的是BCEWithLogitsLoss,它适用于多标签分类。即:把[MASK]位置预测到的词表的值进行sigmoid,取指定阈值以上的标签,然后算损失。