自然语言处理 Paddle NLP - 任务式对话系统-理论

本文涉及的产品
NLP自然语言处理_高级版,每接口累计50万次
NLP 自学习平台,3个模型定制额度 1个月
NLP自然语言处理_基础版,每接口每天50万次
简介: 自然语言处理 Paddle NLP - 任务式对话系统-理论

什么是任务型对话:

  • 任务型:用于帮助用户完成某领域的特定任务,例如订餐、查天气、订票等
  • 闲聊型:也称作开放域对话系统,目标是让用户持续的参与到交互过程,提供情感陪伴
  • 问答型:提供知识满足,具体类型比较多,如图谱问答、表格问答、文档问答等








    Pipeline型任务型对话系统

    什么是NLU?
    NLU(自然语言理解):是指将用户表述映射为结构化的语义表示,典型的结构化语义表示是意图+词槽的形式。
    意图:是指对话中用户想要表达的目的,比如订票,查天气等
    词槽:是指用户表述中,与任务相关的核心语义元素
    意图分类+词槽识别==>文本分类+序列标注





    什么是DST?
    DS(对话状态):是指将t时刻的对话表示为可供系统选择下一时刻动作信息的抽象信息(数据结构),典型而言就是每个槽值的取值分布情况(BelifState)。
    DST:对DS进行追踪,当前大多数工作采用BelifState



    Pipeline型任务式对话系统中的Policy

    对话策略是指根据DST估计的对话状态,通过预设的候选动作集,选择系统动作的过程。

    Policy中的典型方法
    典型方式:
  • 在离线阶段,通过监督学习或模拟学习在语料上进行学习
  • 在线阶段,通过强化学习的方式,与真实用户交互过程中学习

    用户模拟器在DPL中的应用
    定义:用户模拟器是另一套对话系统,其动作行为与真实用户类似,用来提供进行训练或评估的环境
    缺点:用户模拟器并不能完全模拟真实用户的对话习惯,它本身行为的有偏可能会导致学习到的是不是最优模型,从而在与真实用户交互时表现较差。

    Pipeline型任务式对话系统中的NLG

    什么是NLG?定义:自然语言生成的主要任务是将对话管理模块输出的抽象表达转换为句法合法、语义准确的自然语言句子,一般被视为一个条件语言生成任务。
    评估标准:
  • 人为标准:是否自然、是否多样,是否完整传达了语义、是否流畅,可读性是否好等
  • 机器指标:BLEU、perplexity、ROUGE、METEOR等

虽然有多种机器评估指标,但实际上依然缺乏一种能够贴近人为感知的评估标准

端到端任务型对话系统

什么是端到端任务型对话系统?

  • 端到端任务型对话系统是受开放域对话领域的进步启发,使用模型以端到端的方式而不是分模块优化的方式构建任务型对话系统。
  • 虽然大多数端到端任务型对话系统采用了Seq2Seq框架,但端到端任务型对话系统≠Seq2Seq模型


    端到端任务型对话系统--示例

工业界的任务型对话系统

UNIT任务式对话技术发展

UNIT--面向小样本的意图识别

UNIT--TaskFlow:可编程对话流管理框架

UNIT网站:https://ai.baidu.com/unit/home

目录
相关文章
|
4月前
|
数据采集 自然语言处理 机器人
如何使用生成器来提高自然语言处理任务的性能?
如何使用生成器来提高自然语言处理任务的性能?
|
2月前
|
人工智能 自然语言处理 前端开发
Director:构建视频智能体的 AI 框架,用自然语言执行搜索、编辑、合成和生成等复杂视频任务
Director 是一个构建视频智能体的 AI 框架,用户可以通过自然语言命令执行复杂的视频任务,如搜索、编辑、合成和生成视频内容。该框架基于 VideoDB 的“视频即数据”基础设施,集成了多个预构建的视频代理和 AI API,支持高度定制化,适用于开发者和创作者。
139 9
Director:构建视频智能体的 AI 框架,用自然语言执行搜索、编辑、合成和生成等复杂视频任务
|
4月前
|
机器学习/深度学习 存储 人工智能
大数据中自然语言处理 (NLP)
【10月更文挑战第19天】
240 60
|
3月前
|
机器学习/深度学习 人工智能 自然语言处理
自然语言处理(Natural Language Processing,简称NLP)
自然语言处理(NLP)是人工智能的分支,旨在让计算机理解、解释和生成人类语言。NLP的关键技术和应用包括语言模型、词嵌入、文本分类、命名实体识别、机器翻译、文本摘要、问答系统、情感分析、对话系统、文本生成和知识图谱等。随着深度学习的发展,NLP的应用日益广泛且效果不断提升。
123 4
|
3月前
|
机器学习/深度学习 人工智能 自然语言处理
自然语言处理(NLP)是AI的重要分支,旨在让计算机理解人类语言
自然语言处理(NLP)是AI的重要分支,旨在让计算机理解人类语言。本文探讨了深度学习在NLP中的应用,包括其基本任务、优势、常见模型及具体案例,如文本分类、情感分析等,并讨论了Python的相关工具和库,以及面临的挑战和未来趋势。
152 1
|
3月前
|
人工智能 自然语言处理 语音技术
利用Python进行自然语言处理(NLP)
利用Python进行自然语言处理(NLP)
74 1
|
4月前
|
人工智能 自然语言处理 语音技术
利用Python进行自然语言处理(NLP)
利用Python进行自然语言处理(NLP)
77 3
|
1月前
|
存储 人工智能 自然语言处理
Pandas数据应用:自然语言处理
本文介绍Pandas在自然语言处理(NLP)中的应用,涵盖数据准备、文本预处理、分词、去除停用词等常见任务,并通过代码示例详细解释。同时,针对常见的报错如`MemoryError`、`ValueError`和`KeyError`提供了解决方案。适合初学者逐步掌握Pandas与NLP结合的技巧。
67 20
|
3月前
|
自然语言处理 API C++
阿里通义推出SmartVscode插件,自然语言控制VS Code,轻松开发应用,核心技术开源!
SmartVscode插件深度解析:自然语言控制VS Code的革命性工具及其开源框架App-Controller
|
23天前
|
人工智能 自然语言处理 API
用自然语言控制电脑,字节跳动开源 UI-TARS 的桌面版应用!内附详细的安装和配置教程
UI-TARS Desktop 是一款基于视觉语言模型的 GUI 代理应用,支持通过自然语言控制电脑操作,提供跨平台支持、实时反馈和精准的鼠标键盘控制。
487 17
用自然语言控制电脑,字节跳动开源 UI-TARS 的桌面版应用!内附详细的安装和配置教程

热门文章

最新文章