框计算精确搜索之架构篇

简介:

一年多来,百度开放平台已经和400多家合作伙伴实现了合作,覆盖了人们出行、娱乐、商务、工作等方方面面。面对每天超过一亿次的海量搜索请求,如何精确地理解用户需求,将最优质恰当的资源用最优的样式展现给用户,这都需要一个优秀的检索架构来支撑。

 

对于一次检索请求,搜索框需要完成以下三步:

1.需求识别、精准分析

茴香豆的“茴”字有四种写法,而一个简单的天气查询需求却有上百种不同的表达形式,可见要准确的识别出用户的需求是一项很有挑战性的工作。

通过每天海量的检索请求,我们可以通过机器学习的方法将用户的各种表达方式,包括各地惯用的表达习惯和一些生僻的表达进行分析和学习。

百度框计算的需求分析,是通过对query的语义分析和户行为分析实现的。在拿到了大量的机器学习结果之后,通过语义模板、规则匹配等等方式实现了用户需求的精确识别。

2.从大量站长提交数据中取回用户所需

目前与框计算合作的站点已经达到了400多家,每天有上百个新资源提交申请。面对大量的站长数据,如何审核、配置、线上展示这些都有开放平台来管理。站长数据会经过抓取、分析、入库等环节然后被索引,等待用户检索。

对于用户的一次检索请求,经过了需求分析识别后,我们就能够根据分析找到满足需求的站长资源。从特定的索引库中取回检索结果后,可能会遇到同时有多个资源能够满足用户需求。我们还会对这些资源进行一个评价,将最为优质的资源放在最前面。

3.不同类型的数据用最恰当的方式展现给用户

针对不同类型的资源,我们用有针对性的样式展现给用户。我们来看一下几个特殊展现的例子:

 

 

对于站长来说,他可以在提交数据的时候自主决定使用怎样的样式来展现自己的资源,做到所见即所得。

对于用户来说,多样性可浏览化的搜索结果对于用户体验来说是很好的。

对于后台,我们是采用了一套通用的模板引擎来实现这样的效果,模板引擎实现了资源展现的预览、后台可配置、即插即用等功能。

 
















本文转自百度技术51CTO博客,原文链接:http://blog.51cto.com/baidutech/743765,如需转载请自行联系原作者

相关文章
融合AMD与NVIDIA GPU集群的MLOps:异构计算环境中的分布式训练架构实践
本文探讨了如何通过技术手段混合使用AMD与NVIDIA GPU集群以支持PyTorch分布式训练。面对CUDA与ROCm框架互操作性不足的问题,文章提出利用UCC和UCX等统一通信框架实现高效数据传输,并在异构Kubernetes集群中部署任务。通过解决轻度与强度异构环境下的挑战,如计算能力不平衡、内存容量差异及通信性能优化,文章展示了如何无需重构代码即可充分利用异构硬件资源。尽管存在RDMA验证不足、通信性能次优等局限性,但该方案为最大化GPU资源利用率、降低供应商锁定提供了可行路径。源代码已公开,供读者参考实践。
65 3
融合AMD与NVIDIA GPU集群的MLOps:异构计算环境中的分布式训练架构实践
YOLOv11改进策略【模型轻量化】| MoblieNetV3:基于搜索技术和新颖架构设计的轻量型网络模型
YOLOv11改进策略【模型轻量化】| MoblieNetV3:基于搜索技术和新颖架构设计的轻量型网络模型
249 10
YOLOv11改进策略【模型轻量化】| MoblieNetV3:基于搜索技术和新颖架构设计的轻量型网络模型
RT-DETR改进策略【模型轻量化】| MoblieNetV3:基于搜索技术和新颖架构设计的轻量型网络模型
RT-DETR改进策略【模型轻量化】| MoblieNetV3:基于搜索技术和新颖架构设计的轻量型网络模型
66 4
RT-DETR改进策略【模型轻量化】| MoblieNetV3:基于搜索技术和新颖架构设计的轻量型网络模型
神经架构搜索:自动化设计神经网络的方法
在人工智能(AI)和深度学习(Deep Learning)快速发展的背景下,神经网络架构的设计已成为一个日益复杂而关键的任务。传统上,研究人员和工程师需要通过经验和反复试验来手动设计神经网络,耗费大量时间和计算资源。随着模型规模的不断扩大,这种方法显得愈加低效和不够灵活。为了解决这一挑战,神经架构搜索(Neural Architecture Search,NAS)应运而生,成为自动化设计神经网络的重要工具。
阿里云服务器ECS架构区别及选择参考:X86计算、ARM计算等架构介绍
在我们选购阿里云服务器的时候,云服务器架构有X86计算、ARM计算、GPU/FPGA/ASIC、弹性裸金属服务器、高性能计算可选,有的用户并不清楚他们之间有何区别,本文主要简单介绍下这些架构各自的主要性能及适用场景,以便大家了解不同类型的架构有何不同,主要特点及适用场景有哪些。
400 10
面向AI的服务器计算软硬件架构实践和创新
阿里云在新一代通用计算服务器设计中,针对处理器核心数迅速增长(2024年超100核)、超多核心带来的业务和硬件挑战、网络IO与CPU性能增速不匹配、服务器物理机型复杂等问题,推出了磐久F系列通用计算服务器。该系列服务器采用单路设计减少爆炸半径,优化散热支持600瓦TDP,并实现CIPU节点比例灵活配比及部件模块化可插拔设计,提升运维效率和客户响应速度。此外,还介绍了面向AI的服务器架构挑战与软硬件结合创新,包括内存墙问题、板级工程能力挑战以及AI Infra 2.0服务器的开放架构特点。最后,探讨了大模型高效推理中的显存优化和量化压缩技术,旨在降低部署成本并提高系统效率。
【AI系统】计算图优化架构
本文介绍了推理引擎转换中的图优化模块,涵盖算子融合、布局转换、算子替换及内存优化等技术,旨在提升模型推理效率。计算图优化技术通过减少计算冗余、提高计算效率和减少内存占用,显著改善模型在资源受限设备上的运行表现。文中详细探讨了离线优化模块面临的挑战及解决方案,包括结构冗余、精度冗余、算法冗余和读写冗余的处理方法。此外,文章还介绍了ONNX Runtime的图优化机制及其在实际应用中的实现,展示了如何通过图优化提高模型推理性能的具体示例。
103 4
【AI系统】计算图优化架构
【AI系统】昇腾异构计算架构 CANN
本文介绍了昇腾 AI 异构计算架构 CANN,涵盖硬件层面的达·芬奇架构和软件层面的全栈支持,旨在提供高性能神经网络计算所需的硬件基础和软件环境。通过多层级架构,CANN 实现了高效的 AI 应用开发与性能优化,支持多种主流 AI 框架,并提供丰富的开发工具和接口,助力开发者快速构建和优化神经网络模型。
155 1
阿里云服务器架构有啥区别?X86计算、Arm、GPU异构、裸金属和高性能计算对比
阿里云ECS涵盖x86、ARM、GPU/FPGA/ASIC、弹性裸金属及高性能计算等多种架构。x86架构采用Intel/AMD处理器,适用于广泛企业级应用;ARM架构低功耗,适合容器与微服务;GPU/FPGA/ASIC专为AI、图形处理设计;弹性裸金属提供物理机性能;高性能计算则针对大规模并行计算优化。
255 7
一文看懂Elasticsearch的技术架构:高效、精准的搜索神器
Elasticsearch 是一个基于 Lucene 的开源搜索引擎,以其强大的全文本搜索功能和快速的倒排索引技术著称。它不仅支持数字、文本、地理位置等多类型数据,还提供了可调相关度分数、高级查询 DSL 等功能。Elasticsearch 的核心技术流程包括数据导入、解析、索引化、查询处理、得分计算及结果返回,确保高效处理大规模数据并提供准确的搜索结果。通过 RESTful API、Logstash 和 Filebeat 等工具,Elasticsearch 可以从多种数据源中导入和解析数据,支持复杂的查询需求。
250 0

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等