达摩院智能对话技术升级-更人类,更温暖-通义对话大模型SPACE加持下的新一代对话智能-SPACE-T:从客服迈向智能BI

简介: 达摩院智能对话技术升级-更人类,更温暖-通义对话大模型SPACE加持下的新一代对话智能-


 

image.png

 

表格是各行各业最普遍的结构化数据或知识的存储形式。企业只要有信息化系统,就会有SQL数据库与表格。

 

image.png

 

早在2019年阿里云智能客服就开始进行Table QA的研究与落地。在全球范围来看,都属于最早切入这个方向的研究者和实践落地团队。经过数年打磨,Table QA在阿里云智能客服产品矩阵中大规模落地。

 

我们已经实现多轮对话能力、多表联合查询能力。企业百万行级的数据库可以一次性接入,再大量级的数据库可以做水平扩展;整个开箱准确率达到85%,经过阿里云智能客服的适配性训练后,准确率可以升至90%以上。

 

image.png

 

Table QA技术在客服问答场景开箱落地以后,我们也一直在思考技术接下来的发展方向,多方考虑后还是觉得始终该回归到出发点上。Table QA是基于表格、SQL数据库构建起来的,面向SQL数据库时,除了能够做问答以外,BI智能分析也是十分重要的方向。

 

问答是以SQL数据库为基础来回应客户疑问;BI则是以SQL数据库为基础,洞察其中规律,挖掘有价值信息,为决策提供辅助支撑。所以我们一直希望可以把Table QA能力从客服领域拓展到智能BI分析领域。

 

image.png


当把Table QA技术从问答拓展到智能BI,我们遇到了两个全新的挑战。

 

l 在智能BI分析领域,整个SQL长度过长。如果在问答领域,解析出的SQL是一个句子。那么在智能BI分析领域,解析出的SQL基本是一个段落。

 

l SQL复杂度持续走高。在BI领域,SQL嵌套,仔细查询会变得非常常见。

 

我们的解决策略还是希望能够引入预训练大模型,由此提出Space-T,T代表了table,Space-T把整个问答和BI分析能力进行了统一的大规模预训练;在具体训练机制上,我们提出了TKK训练模型,该模型目前已在EMNLP 2022上正式发表。在Space-T的加持下,加速在智能BI分析领域把Table QA技术进行落地。

 

image.png

 

在BI分析里,最常用的两大类能力,是统计类和同环比趋势类。目前,阿里云智能客服可以在用户输入跨越的过程中,根据表格内容,进行智能化的下拉提示,直接填充表格内容,便于用户快捷操作,也减少了后续解析SQL过程的错误,并直接生成数据饼图。

 

image.png

 

统计类中的同环比趋势方向,生成的SQL相当于一小段文字内容,后台查询到的结果直接以线图的形式进行展现。

 

image.png

 

近年来,阿里云的TableQA技术取得了行业内的技术领先。在三大榜单Spider、SParC、CoSQL中,排名均为第一。

 

在论文研究创新方面,无论是底层的预训练大模型,下游的任务模型,以及上下游模型的执行协同,阿里云智能客服也进行了大规模的体系化创新,发表了多篇论文,

 

截止到今天为止,在这个方向上,我们在全球范围内处于领先水平。

相关文章
|
9月前
|
负载均衡 测试技术 调度
大模型分布式推理:张量并行与流水线并行技术
本文深入探讨大语言模型分布式推理的核心技术——张量并行与流水线并行。通过分析单GPU内存限制下的模型部署挑战,详细解析张量并行的矩阵分片策略、流水线并行的阶段划分机制,以及二者的混合并行架构。文章包含完整的分布式推理框架实现、通信优化策略和性能调优指南,为千亿参数大模型的分布式部署提供全面解决方案。
2672 4
|
9月前
|
机器学习/深度学习 缓存 监控
大模型推理优化技术:KV缓存机制详解
本文深入探讨了大语言模型推理过程中的关键技术——KV缓存(Key-Value Cache)机制。通过对Transformer自注意力机制的分析,阐述了KV缓存的工作原理、实现方式及其对推理性能的显著优化效果。文章包含具体的代码实现和性能对比数据,为开发者理解和应用这一关键技术提供实践指导。
2651 9
|
9月前
|
存储 机器学习/深度学习 人工智能
大模型微调技术:LoRA原理与实践
本文深入解析大语言模型微调中的关键技术——低秩自适应(LoRA)。通过分析全参数微调的计算瓶颈,详细阐述LoRA的数学原理、实现机制和优势特点。文章包含完整的PyTorch实现代码、性能对比实验以及实际应用场景,为开发者提供高效微调大模型的实践指南。
3337 3
|
9月前
|
数据采集 人工智能 搜索推荐
智能新纪元:多模态大模型如何重塑人机交互
智能新纪元:多模态大模型如何重塑人机交互
425 113
|
9月前
|
人工智能 机器人 人机交互
当AI学会“看、听、懂”:多模态技术的现在与未来
当AI学会“看、听、懂”:多模态技术的现在与未来
506 117
|
9月前
|
人工智能 自然语言处理 安全
AI助教系统:基于大模型与智能体架构的新一代教育技术引擎
AI助教系统融合大语言模型、教育知识图谱、多模态交互与智能体架构,实现精准学情诊断、个性化辅导与主动教学。支持图文语音输入,本地化部署保障隐私,重构“教、学、评、辅”全链路,推动因材施教落地,助力教育数字化转型。(238字)
1691 23
|
9月前
|
机器学习/深度学习 存储 并行计算
大模型推理加速技术:FlashAttention原理与实现
本文深入解析大语言模型推理加速的核心技术——FlashAttention。通过分析传统注意力机制的计算瓶颈,详细阐述FlashAttention的IO感知算法设计、前向反向传播实现,以及其在GPU内存层次结构中的优化策略。文章包含完整的CUDA实现示例、性能基准测试和实际部署指南,为开发者提供高效注意力计算的全套解决方案。
1674 10
|
9月前
|
人工智能 文字识别 自然语言处理
从“看见”到“预见”:合合信息“多模态文本智能技术”如何引爆AI下一场革命。
近期,在第八届中国模式识别与计算机视觉学术会议(PRCV 2025)上,合合信息作为承办方举办了“多模态文本智能大模型前沿技术与应用”论坛,汇聚了学术界的顶尖智慧,更抛出了一颗重磅“炸弹”——“多模态文本智能技术”概念。
371 1
|
9月前
|
存储 人工智能 算法
大模型4-bit量化技术详解
本文系统阐述大语言模型的4-bit量化技术,深入解析GPTQ、AWQ等主流量化方法的原理与实现。通过详细的数学推导、代码实现和实验对比,展示4-bit量化如何将模型内存占用降低75%以上同时保持模型性能。文章涵盖量化感知训练、后训练量化、混合精度量化等关键技术,为开发者提供完整的模型压缩解决方案。
2038 7
|
9月前
|
监控 算法 测试技术
大模型推理服务优化:动态批处理与连续批处理技术
本文系统阐述大语言模型推理服务中的关键技术——动态批处理与连续批处理。通过分析传统静态批处理的局限性,深入解析动态批处理的请求调度算法、内存管理策略,以及连续批处理的中断恢复机制。文章包含完整的服务架构设计、核心算法实现和性能基准测试,为构建高性能大模型推理服务提供全面解决方案。
1134 3

热门文章

最新文章