达摩院智能对话技术升级-更人类,更温暖-通义对话大模型SPACE加持下的新一代对话智能-SPACE-D:可信赖的文档对话

简介: 达摩院智能对话技术升级-更人类,更温暖-通义对话大模型SPACE加持下的新一代对话智能-


 

image.png

 

根据Gartner2020的报告,企业中80%以上的数据,都是以非结构化形式存在的,而文档在其中的占比最为突出。其中,在政务、保险、电力、医疗等9个行业中,文档应用非常广泛。

 

image.png

 

MRC技术在落地过程中遇到的第一个挑战就是模型太大,性能、效果一般;我们的解决方向是打造了以半参数化神经网络为基础的文档对话机器人Doc2Bot之前的机器阅读,是根据问题在文档中进行生成或者查找,在理念良好的情况下,落地会遇到非常多的问题

 

而当Doc2Bot收到文档时,会采用一系列的知识发现技术,把整个文档转化成结构化的知识数据库。紧接着根据用户问题进行知识定位,然后生成答案。通过半参数化的方式,把知识进行外部存储,用神经网络进行推理并生成答案,最终实现知识存储和模型推理的分离。

 

通过上述方式带来的好处是,大量工作在离线完成,在线模型性能,不管是延迟、QTS等可以快速大幅提升。除此之外,由于知识已经结构化,所以效果会更加精准。

 

image.png

 

接下来,问绕着文档对话我们生成了可开箱即用的Space-D大模型。Space-D把知识发现和文档对话,进行统一预训练。无论是知识发现、知识定位、回复生成等任务,都会在大模型里进行统一建模。基于Space-D,我们可以把DocBot文档对话机器人在阿里云智能客服中进行落地。

image.png

 

通过SPACE-D技术,想进一步使文档对话机器人做到可信赖、可解释。我们希望机器人能够言之有据、言之有理。言之有据指的是当用户提出问题时,不仅能给出答案,还能在文档中找到引用。

 

言之有理则是指,希望这个模型具备一定的推理能力。我们基于SPACE-D的大模型,提出基于思维链、模仿人类的思维探测方法。将人类推理思考的过程和Space-D结合在一起,从而使模型具备推理能力;基于思维链的推理能力,在国际权威常识推理榜单Commonsense2.0中,取得了第一名的成绩。

 

image.png

 

以上就是阿里云智能客服在对话方面取得的一些核心成果。简单总结下,打造了通义对话大模型SPACE体系。

 

在任务型对话方面,基于SPACE模型打造了分布式对话智能的能力。

 

在表格方面,打造了SPACE-T模型,实现了客服问答的开箱即用落地,同时把技术能力推广到智能BI领域。

 

在文档领域,打造了SPACE-D模型,让文档对话在不同业务领域落地,同时探索可解释、可信赖方向进行了积极探索;在一些场景能够做到言之有理、言之有据。

 

image.png

 

达摩院对话智能一直在用基础研究开拓业务落地的边界。整个团队在过去六个月一共发表了21篇国际顶会论文。在10月份放榜的EMNLP 2022会议上,一次性上榜十篇论文。意味着在全球范围内,无论面对企业、个人,都取得了首屈一指的成绩。

 

面向未来,我们希望会继续在基础研究和业务落地相互促进的道路上前进,尽快实现人机自由对话的理想

 

 

 

 


 

 

 

 


 

相关文章
|
4月前
|
负载均衡 测试技术 调度
大模型分布式推理:张量并行与流水线并行技术
本文深入探讨大语言模型分布式推理的核心技术——张量并行与流水线并行。通过分析单GPU内存限制下的模型部署挑战,详细解析张量并行的矩阵分片策略、流水线并行的阶段划分机制,以及二者的混合并行架构。文章包含完整的分布式推理框架实现、通信优化策略和性能调优指南,为千亿参数大模型的分布式部署提供全面解决方案。
998 4
|
4月前
|
人工智能 新制造 云栖大会
TsingtaoAI亮相云栖大会,AI大模型赋能传统制造业焕新升级
2025年9月24日,杭州云栖小镇,2025云栖大会盛大开幕。作为全球AI技术与产业融合的重要平台,本届大会以“AI驱动产业变革”为主题,集中展示大模型技术在各领域的创新应用。 其中,由西湖区商务局牵头组织的“AI大模型应用与产业融合”专场论坛成为大会亮点之一,吸引了来自政府、企业及投资机构的百余名代表参与。 在论坛上,TsingtaoAI作为制造业智能化转型的代表企业,分享了在具身智能-制造企业的AI应用实践。
179 1
|
4月前
|
存储 机器学习/深度学习 人工智能
大模型微调技术:LoRA原理与实践
本文深入解析大语言模型微调中的关键技术——低秩自适应(LoRA)。通过分析全参数微调的计算瓶颈,详细阐述LoRA的数学原理、实现机制和优势特点。文章包含完整的PyTorch实现代码、性能对比实验以及实际应用场景,为开发者提供高效微调大模型的实践指南。
2557 2
|
4月前
|
机器学习/深度学习 人工智能 人机交互
当AI学会“看”和“听”:多模态大模型如何重塑人机交互
当AI学会“看”和“听”:多模态大模型如何重塑人机交互
432 121
|
4月前
|
数据采集 人工智能 搜索推荐
智能新纪元:多模态大模型如何重塑人机交互
智能新纪元:多模态大模型如何重塑人机交互
291 113
|
4月前
|
人工智能 人机交互 知识图谱
当AI学会“融会贯通”:多模态大模型如何重塑未来
当AI学会“融会贯通”:多模态大模型如何重塑未来
345 114
|
4月前
|
人工智能 安全 搜索推荐
当AI学会“看”和“听”:多模态大模型如何重塑人机交互
当AI学会“看”和“听”:多模态大模型如何重塑人机交互
324 117
|
4月前
|
人工智能 机器人 人机交互
当AI学会“看、听、懂”:多模态技术的现在与未来
当AI学会“看、听、懂”:多模态技术的现在与未来
345 117
|
4月前
|
机器学习/深度学习 存储 并行计算
大模型推理加速技术:FlashAttention原理与实现
本文深入解析大语言模型推理加速的核心技术——FlashAttention。通过分析传统注意力机制的计算瓶颈,详细阐述FlashAttention的IO感知算法设计、前向反向传播实现,以及其在GPU内存层次结构中的优化策略。文章包含完整的CUDA实现示例、性能基准测试和实际部署指南,为开发者提供高效注意力计算的全套解决方案。
610 10
|
4月前
|
人工智能 文字识别 自然语言处理
从“看见”到“预见”:合合信息“多模态文本智能技术”如何引爆AI下一场革命。
近期,在第八届中国模式识别与计算机视觉学术会议(PRCV 2025)上,合合信息作为承办方举办了“多模态文本智能大模型前沿技术与应用”论坛,汇聚了学术界的顶尖智慧,更抛出了一颗重磅“炸弹”——“多模态文本智能技术”概念。
240 1