如何使用机器学习来进行打分?

简介: 机器学习通过加权融合多种打分因子(如网站权威性、用户行为等)自动学习最优权重,结合Sigmoid函数将得分映射到(0,1)区间,衡量相关性。常用模型包括逻辑回归、梯度提升树及深度神经网络,相比人工规则更高效精准。

随着搜索引擎的越来越重视搜索结果的排序和效果,我们需要考虑的因子也越来越多。比如说,官方的网站是不是会比个人网页在打分上有更高的权重?用户的历史点击行为是否也是相关性的一个衡量指标?

在当前的主流搜索引擎中,用来打分的主要因子已经有几百种了。如果我们要将这么多的相关因子都考虑进来,再加入更多的参数,那 BM25 算法是无法满足我们的需求的。

这个时候,机器学习就可以派上用场了。利用机器学习打分是近些年来比较热门的研究领域,也是许多搜索引擎目前正在使用的打分机制。

那机器学习具体是怎么打分的呢?原理很简单,就是把不同的打分因子进行加权求和。比如说,有 n 个打分因子,分别为 x1到 xn,而每个因子都有不同的权重,我们记为 w1到 wn,那打分公式就是:

Score = w1 x1+ w2 x2+ w3 x3+ …… + wn xn
那你可能会问了,公式中的权重要如何确定呢?这就需要我们利用训练数据,让机器学习在离线阶段,自动学出最合适的权重。这样,就避免了人工制定公式和权重的问题。

当然,这个打分公式是不能直接使用的,因为它的取值范围是负无穷到正无穷。这是一个跨度很广的范围,并不好衡量和比较相关性。一般来说,我们会使用 Sigmoid 函数对 score 进行处理,让它处于 (0,1) 范围内。

Sigmoid 函数的取值范围是(0,1),它的函数公式和图像如下所示:

Sigmoid 函数图像(x 代表 score,y 代表相关性)

Sigmoid 函数的特点就是:x 值越大,y 值越接近于 1;x 值越小,y 值越接近于 0。并且,x 值在中间一段范围内,相关性的变化最明显,而在两头会发生边际效应递减的现象,这其实也符合我们的日常经验。比方说,一个 2-3 人的项目要赶进度,一开始增加 1、2 个人进来,项目进度会提升明显。但如果我们再持续加人进来,那项目的加速就会变平缓了。

这个打分方案,就是工业界常见的 逻辑回归模型(Logistic Regression)(至于为什么逻辑回归模型的表现形式是 Sigmoid 函数,这是另一个话题,这里就不展开说了)。当然,工业界除了逻辑回归模型的打分方案,还有支持向量机模型、梯度下降树等。并且,随着深度学习的发展,也演化出了越来越多的复杂打分算法,比如,使用 深度神经网络模型(DNN)和相关的变种等。由于机器学习和深度学习是专门的领域,因此相关的打分算法我就不展开了。在这一讲中,你只要记住,机器学习打分模型可以比人工规则打分的方式处理更多的因子,能更好地调整参数就可以了。

相关文章
|
2月前
|
人工智能 搜索推荐 数据可视化
引入了AI大模型开发客服对话质量评估助手
摘要: 本文介绍了基于JBoltAI开发的“客服对话质量智能评估助手”项目,旨在解决传统人工质检效率低、标准不一、隐性问题难识别及数据沉淀困难等痛点。系统通过多渠道对话自动采集、AI驱动的语义解析与情感分析、多维度智能评分及个性化整改建议生成,实现了全量对话的高效、客观评估。项目采用低侵入式架构,无缝对接现有Java客服系统,显著提升质检效率(日均千条对话1小时内完成评估)、统一评估标准、精准识别服务短板,并通过结构化数据支撑团队优化。上线后用户投诉下降35%,后续将拓展语音情绪分析、智能培训推荐等功能。
241 3
|
3月前
|
存储 索引
如何利用四叉树动态调整查询范围?
四叉树通过层次化划分空间,根节点代表全区域,子节点编码组合形成区域码。检索时沿路径查找,不足K个结果则回溯父节点扩大范围,实现动态调整查询范围,提升效率。
|
3月前
|
自然语言处理 搜索推荐 索引
搜索引擎是如何完成短语检索的?
搜索引擎进行短语检索时,首先尝试将整个短语作为关键词在倒排索引中查找。若未命中,则拆分为更细粒度的词(如“极客”“时间”)分别检索,并利用位置信息索引法,通过计算关键词间的最小窗口长度判断 proximity,确保结果中词语位置接近,从而实现精准匹配。
|
3月前
|
编解码 算法 前端开发
java后端开发学习路线+避坑指南
java后端开发学习路线+避坑指南
|
2月前
|
人工智能 监控 安全
智能体来了:2026 AI元年真正到来!
内容摘要:2026年被公认为“AI智能体(Agent)元年”,引发人工智能从“对话框工具”到“充当数字”的质变。本文深度解析智能体背后的底层逻辑,拆解其在个人职能与产业变革中的核心员工作用,并提供一套可落地的分身构建方案,助你抓住阶层的核心红利。
261 1
|
3月前
|
算法 搜索推荐
经典的 TF-IDF 算法是什么?
TF-IDF是衡量词与文档相关性的经典算法,由词频(TF)和逆文档频率(IDF)相乘得出。TF反映词在文档中的重要性,IDF体现词的区分度。词频越高、文档频率越低的词,权重越大。通过累加各词项的TF-IDF值,可计算查询与文档的整体相关性,广泛应用于搜索引擎排序。
|
3月前
|
算法 搜索推荐
如何使用概率模型中的 BM25 算法进行打分?
BM25是一种基于概率模型的文本相关性打分算法,可视为TF-IDF的升级版。它综合考虑词频(TF)、逆文档频率(IDF)、文档长度及查询词频,并引入非线性增长与饱和机制。通过参数k1、k2和b调节词频权重、文档长度影响和查询词权重,使评分更精准。广泛应用于Elasticsearch、Lucene等搜索引擎中。
|
3月前
|
数据采集 存储 机器学习/深度学习
搜索引擎的整体架构和工作过程
搜索引擎由爬虫、索引和检索三大系统构成:爬虫负责抓取网页并存储;索引系统对网页去重、分析并构建倒排索引;检索系统通过查询分析、相关性排序等技术,返回精准结果。全过程融合文本分析、机器学习与大规模计算,确保高效准确搜索。
|
3月前
|
资源调度 监控 数据可视化
2025年高并发系统卡顿排查:全链路压测平台对比与瓶颈定位
文章聚焦2025年高并发系统卡顿排查,介绍全链路压测是定位性能瓶颈主流手段。对比SaaS化、私有化部署及开源工具集成这三类主流全链路压测平台,从压测能力、可视化分析、接入成本等维度阐述各自优劣,还给出不同场景下的方案选择建议,助力企业解决高并发系统卡顿问题。
|
3月前
|
搜索推荐 数据库 索引
广告引擎的整体架构和工作过程
广告引擎核心是匹配用户与广告。通过用户标签、广告位信息及广告主定向条件,构建倒排索引,实现高效召回与排序,0.1秒内完成广告返回,并实时监测展现、点击与计费,确保精准投放与预算控制。

热门文章

最新文章