阿里云峰会 | AI搜题加速在线教育行业场景创新

本文涉及的产品
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
智能开放搜索 OpenSearch向量检索版,4核32GB 1个月
OpenSearch LLM智能问答版免费试用套餐,存储1GB首月+计算资源100CU
简介: 过去的2020年的让所有人难忘的一年,受新冠疫情的影响,各行各业都在挑战中变化,在教育方面也催生了新的商业格局。在线教育平台发展迅猛,阿里云也积极相应,为在线教育的众多客户提供了高效稳定的技术保障。本文介绍了阿里云开放搜索为在线教育掠夺流量的重要工具-拍照搜索的技术原理。

分享人:徐光伟(昆卡)   阿里巴巴达摩院算法专家

了解更多解决方案详情:https://www.aliyun.com/page-source/data-intelligence/activity/edusearch

搜索是在线教育企业流量获取的利器

   截至2020年12月份教育行业月活TOP10的统计,其中具备搜题能力的软件多达5个,拍照搜题作为产品能力,可以帮助客户获取大量用户以及流量,从而为其他产品提供变现能力,正是由于这样定位,拍照搜题整体准确性和搜索效率都成为至关重要的一点,所以开放搜索对此做了很多订制优化。

教育搜题业务特点


对于教育搜题业务场景归纳了三大特点:

第一点海量题库,教育题库都是属于千万级别甚至到亿级别,而且不断的持续增长;同时搜题业务存在很明显的高峰现象,例如晚上七八点,节假日最后一天,这时搜题会存在非常高的QPS的波峰;搜索延迟会严重影响用户的体验。

第二点场景丰富,拍照搜题涵盖的场景越来越丰富,包括不同的年龄段,例如低年级搜题主要围绕拍照看图识字或连线题,需要更多的图片信息的题目;还包括不同的学科,目前支持的学科多达十多种,因此丰富的场景就会对搜索效果带来更大的挑战。

第三点算法需求,拍照搜题产品形态一般只会展现TOP3或者TOP5的结果,正是因为这样设定,准确性对于拍照搜题来说至关重要,同时拍照搜题还会涉及到多模态和多语言处理能力,解决图文搜索和多语言处理的需求。

开放搜索教育搜题方案架构

阿里云开放搜索的拍照搜题解决方案,当用户通过拍照经过OCR识别之后的文本,经过开放搜索引擎处理后会返回TOP3-5的结果给用户得到展示,并且针对企业题库数据严格保证数据的安全和隐私。

教育搜题算法能力

查询分析算法优化完整的处理流程

教育行业分词和学科类目预测

分词在拍照搜题场景下存在两大难点,第一点英文题目OCR识别之后空格缺失,左边第一个图可以看到,即便针对很长没有空格的英文文本,模型也是可以非常准确的做正确的切分。第二个难点是数学题目公式表示之后的切分,左边第二个图可以看到数学符号部分都做出正确的切分。

类目预测在拍照搜题场景下对应的就是学科的预测和题型的预测,我们结合图片以及OCR识别之后的文本信息做多模态预测,从而提高搜题准确率。

多路召回排序技术

由于拍照搜题业务场景的特殊性,开放搜索还引入了多路召回排序技术。

为什么要做多路召回呢?

教育拍照搜题相比传统的网页或者电商的搜索存在明显的差异,第一点是搜索的Query特别长,第二点是搜索的Query由拍照OCR识别之后得到的文本,其中关键TERM识别错误的话,就会严重影响召回排序。

传统的纯文本查询方案包括两种,第一种是OR逻辑查询,第二种AND逻辑查询,AND逻辑查询上基于我们刚才说到的针对教育领域优化定制的Query模块分析之后大幅提高效果,现在可以做到准确性接近OR逻辑。

如何兼顾搜索计算开销以及搜索的准确率呢?

引入了文本的向量召回,对文本向量召回技术优化了三点,

第一点是其中的BERT模型我们采用达摩院自研的StructBERT,并针对于教育行业做了定制,同时对BERT模型做压缩加速。

第二点是向量检索引擎采用达摩院自研的Proxma引擎,准确性和速度都超越开源系统。

第三点训练数据可以基于客户的搜索日志不断积累,效果持续提升。

从右边的图可以看到,最终我们在基于两侧的BERT模型就可以达到非常好的效果,准确性超过OR逻辑3%—5%,整体召回DOC数量减少40倍,Latecy降低10倍以上。

搜题效果展示

举例两个具体搜题的case,左边这个case可以看到其中因为问题中的文字描述和题库中文字描述不一致,传统搜索引擎返回的结果相关性极差,经过我们引入语意向量召回之后右边TOP3结果完全符合题意。第二个case因为这个题目中包含图片的信息,传统的搜索引擎无法做到准确的召回,基于我们多路召回引入图象信息之后TOP1返回完全一致的题目。

开放搜索解决方案优势

案例一:某K12的教育用户,用户数达到千万级别,题库量在八千万左右而且在持续增加,客户接入开放搜索之后返回搜题准确率提升45%,延迟降到50%毫秒。


案例二:某高职教育客户,产品DAU三百万,月活一千万,客户接入之后反馈对比他们原先自建的系统,在高峰时候耗时大于两秒,现在开放搜索可以稳定在50毫秒,同比下降40倍。TOP5题目搜索准确率提升2.4%搜索结果从原来40%降到不到1%,业务高峰期可以实现秒级平滑扩容。


获得专家指导:

https://survey.aliyun.com/apps/zhiliao/6R4u6vilI


如果您对搜索与推荐相关技术感兴趣,欢迎加入钉钉群内交流

image.png



目录
相关文章
|
5天前
|
人工智能 JSON API
阿里云文档智能 & RAG解决方案:提升AI大模型业务理解与应用
阿里云推出的文档智能 & RAG解决方案,旨在通过先进的文档解析技术和检索增强生成(RAG)方法,显著提升人工智能大模型在业务场景中的应用效果。该方案通过文档智能(Document Mind)技术将非结构化文档内容转换为结构化数据,提取文档的层级树、样式和版面信息,并输出为Markdown和Json格式,为RAG提供语义分块策略。这一过程不仅解决了文档内容解析错误和切块丢失语义信息的问题,还优化了输出LLM友好的Markdown信息。方案的优势在于其多格式支持能力,能够处理包括Office文档、PDF、Html、图片在内的主流文件类型,返回文档的样式、版面信息和层级树结构。
34 2
|
5天前
|
人工智能 Cloud Native 数据管理
媒体声音|重磅升级,阿里云发布首个“Data+AI”驱动的一站式多模数据平台
在2024云栖大会上,阿里云瑶池数据库发布了首个一站式多模数据管理平台DMS:OneMeta+OneOps。该平台由Data+AI驱动,兼容40余种数据源,实现跨云数据库、数据仓库、数据湖的统一数据治理,帮助用户高效提取和分析元数据,提升业务决策效率10倍。DMS已服务超10万企业客户,降低数据管理成本高达90%。
|
5天前
|
存储 人工智能 调度
阿里云吴结生:高性能计算持续创新,响应数据+AI时代的多元化负载需求
在数字化转型的大潮中,每家公司都在积极探索如何利用数据驱动业务增长,而AI技术的快速发展更是加速了这一进程。
|
3天前
|
人工智能 Kubernetes 云计算
第五届CID大会成功举办,阿里云基础设施加速AI智能产业发展!
2024年10月19日,第五届中国云计算基础架构开发者大会(CID)在北京朗丽兹西山花园酒店成功举办。本次大会汇聚了来自云计算领域的众多精英,不同背景的与会者齐聚一堂,共同探讨云计算技术的最新发展与未来趋势。
|
4天前
|
人工智能 Kubernetes 云计算
第五届CID大会成功举办,阿里云基础设施加速AI智能产业发展!
第五届中国云计算基础架构开发者大会(CID)于2024年10月19日在北京成功举办。大会汇聚了300多位现场参会者和超过3万名在线观众,30余位技术专家进行了精彩分享,涵盖高效部署大模型推理、Knative加速AI应用Serverless化、AMD平台PMU虚拟化技术实践、Kubernetes中全链路GPU高效管理等前沿话题。阿里云的讲师团队通过专业解读,为与会者带来了全新的视野和启发,推动了云计算技术的创新发展。
|
4天前
|
机器学习/深度学习 人工智能 弹性计算
阿里云AI服务器价格表_GPU服务器租赁费用_AI人工智能高性能计算推理
阿里云AI服务器提供多种配置选项,包括CPU+GPU、CPU+FPGA等组合,支持高性能计算需求。本文汇总了阿里云GPU服务器的价格信息,涵盖NVIDIA A10、V100、T4、P4、P100等多款GPU卡,适用于人工智能、机器学习和深度学习等场景。详细价格表和实例规格见文内图表。
|
5天前
|
人工智能 安全 Cloud Native
|
5天前
|
人工智能 搜索推荐 安全
AI技术在医疗领域的应用与挑战
【10月更文挑战第27天】 本文探讨了人工智能(AI)在医疗领域的应用,包括疾病诊断、药物研发和患者管理等方面。同时,也分析了AI在医疗领域面临的挑战,如数据隐私、伦理问题和技术局限性等。通过对这些方面的深入分析,我们可以更好地理解AI在医疗领域的潜力和发展方向。
102 59
|
1天前
|
存储 XML 人工智能
深度解读AI在数字档案馆中的创新应用:高效识别与智能档案管理
基于OCR技术的纸质档案电子化方案,通过先进的AI能力平台,实现手写、打印、复古文档等多格式高效识别与智能归档。该方案大幅提升了档案管理效率,确保数据安全与隐私,为档案馆提供全面、智能化的电子化管理解决方案。
63 48