【CAMEL】Communicative Agents for “Mind”Exploration of Large Scale Language Model Society

简介: 【CAMEL】Communicative Agents for “Mind”Exploration of Large Scale Language Model Society

所解决的问题?

目前的语言模型还是需要人类的输入来进行指导对话,在时间开销上会很大。这篇文章提出一种新的智能体通信框架角色扮演(role-playing)。作者采用了一个叫做初始Prompt的东西(inception prompting)来做这样一件事情。也就是只在开始人为给定prompt,之后就全靠智能体自己去对话探索了。

人话来说就是,目前主流的基于大模型的应用都是人肉去调prompt,这个非常耗费开销。作者提出了一种方法,让智能体之间进行对话,进而自动去完成任务,而过程中无需人为干预。

背景

目前多智能体间的通信也是研究的一个热点问题,但是主流的通信是基于一些只有智能体才能看懂的向量。而人类语言间的通信能否作用到计算机里面呢?实现智能体间的通信?或者更近一步实现人机通信,人机协作?

知识蒸馏可以实现知识从老师到学生之间的传递,大体也是可以被分成三类:Response-based, Feature-based, and Relation-based。更多的是去抓住模型中的知识,而作者所提出来的方法,是去处理对话智能体“思想”上的探索。

所采用的方法?

大体上是有两个智能体,也就是大语言模型:AI assistant和AI user。当给定一个初始的任务时,一个task-specifier agent将会将任务拆解,描绘更加细致的任务给到AI assistant和AI user,然后他两就开始对话完成任务了:

另外作者还提及到了一些在设计prompt的时候需要注意的点:

  1. 在两个智能体对话的时候,常常会角色互换,因此需要好好设计一下这个prompt,比如对于AI assistant,就告诉他,好好执行就行了,不要提问题。
  2. 另一个是assistan repeats,assistant会重复user‘s 的prompt。
  3. 虚假回复,比如assistant保证会完成某个任务,实际上没有完成。
  4. 无限消息循环,智能体之间的消息无限循环。

取得的效果?

作者也就是对这个实验结果做了一些分析,可视化等等就完事了。

问题

所出版信息?作者信息?

  • King Abdullah University of Science and Technology (KAUST)

参考链接

相关文章
|
2月前
|
机器学习/深度学习 自然语言处理 PyTorch
VLLM (Very Large Language Model)
VLLM (Very Large Language Model) 是一种大型语言模型,通常具有数十亿或数万亿个参数,用于处理自然语言文本。VLLM 可以通过预训练和微调来执行各种任务,如文本分类、机器翻译、情感分析、问答等。
387 1
|
9月前
|
机器学习/深度学习 数据挖掘
【提示学习】HPT: Hierarchy-aware Prompt Tuning for Hierarchical Text Classification
本文是较早把Prompt应用到层级多标签文本分类领域的论文。思路是把层级标签分层编入到Pattern中,然后修改损失函数以适应多标签的分类任务。
125 0
|
2月前
|
Python
[UNILM]论文实现:Unified Language Model Pre-training for Natural Language.........
[UNILM]论文实现:Unified Language Model Pre-training for Natural Language.........
23 0
|
2月前
|
自然语言处理 算法 Python
[SentencePiece]论文解读:SentencePiece: A simple and language independent subword tokenizer...
[SentencePiece]论文解读:SentencePiece: A simple and language independent subword tokenizer...
27 0
|
2月前
|
机器学习/深度学习 数据挖掘 Python
[Bart]论文实现:Denoising Sequence-to-Sequence Pre-training for Natural Language Generation...
[Bart]论文实现:Denoising Sequence-to-Sequence Pre-training for Natural Language Generation...
21 0
|
11月前
|
自然语言处理 算法
SIFRank New Baseline for Unsupervised Keyphrase Extraction Based on Pre-Trained Language Model
在社交媒体上,面临着大量的知识和信息,一个有效的关键词抽取算法可以广泛地被应用的信息检索和自然语言处理中。传统的关键词抽取算法很难使用外部的知识信息。
122 0
SIFRank New Baseline for Unsupervised Keyphrase Extraction Based on Pre-Trained Language Model
|
11月前
|
自然语言处理 算法 vr&ar
X-GEAR:Multilingual Generative Language Models for Zero-Shot Cross-Lingual Event Argument Extraction
我们提出了一项利用多语言预训练生成语言模型进行零样本跨语言事件论元抽取(EAE)的研究。通过将EAE定义为语言生成任务,我们的方法有效地编码事件结构并捕获论元之间的依赖关系。
89 0
|
9月前
|
自然语言处理 数据挖掘 数据处理
【提示学习】Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference
目前流行的第四大范式Prompt的主流思路是PVP,即Pattern-Verbalizer-Pair,主打的就是Pattern(模板)与Verbalizer(标签映射器)。   本文基于PVP,提出PET与iPET,但是关注点在利用半监督扩充自己的数据集,让最终模型学习很多样本,从而达到好效果。
|
9月前
|
数据挖掘
【提示学习】Prompt Tuning for Multi-Label Text Classification: How to Link Exercises to Knowledge Concept
文章这里使用的是BCEWithLogitsLoss,它适用于多标签分类。即:把[MASK]位置预测到的词表的值进行sigmoid,取指定阈值以上的标签,然后算损失。
|
人工智能 自然语言处理 算法
Tree of Thoughts: Deliberate Problem Solving with Large Language Models
Tree of Thoughts: Deliberate Problem Solving with Large Language Models
286 0