内容社区行业搜索最佳实践

本文涉及的产品
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
OpenSearch LLM智能问答版免费试用套餐,存储1GB首月+计算资源100CU
简介: 社区内容通常包括UGC和PGC。由于关键词和内容多样性丰富、用词规范程度参差不齐,搜索引擎需要对关键词和内容进行智能语义分析,识别出用户真正的查询意图,找到最全面最相关的结果满足用户需求。本文将详细介绍如何通过“开放搜索(OpenSearch)内容增强版”在社区论坛场景的应用,提升用户搜索体验,带来更多的业务转化

社区的核心是用户,用户进入社区的主要目的是为了消费内容。内容可以是广义的图文、音频、视频,也可以是通过社区找到解决问题的方法。优质的内容能提升用户的活跃度,为平台带来流量与时长,实现用户增长和留存,获得更多业务机会和收益。

"搜索"作为社区直接获取内容的最有效途径,每个社区都在不断解决下面的搜索效果问题:

  • 如何准确理解用户的搜索意图,返回最匹配的结果?
  • 如何通过内容传播的差异化,个性化来提升用户的搜索体验,增强社区归属感和忠诚度?
  • 如何在社区里不同领域,不同垂类,不同频道间的内容召回中实现交互和连接?
  • 如何实现非商业化内容与商业化内容更好的融合与发展?

本文将带着以上几个思考,为大家解析内容社区行业搜索特点和挑战,以及介绍阿里云智能开放搜索-内容社区行业增强版的解决方案和应用实践。

内容行业搜索业务需求

» 更多的曝光机会——无结果率低;
» 更好的搜索质量——搜索相关性高,更高质量的排序;
» 更丰富的业务特征——结合业务特性调整搜索结果;
» 更全面的配套功能——智能纠错、热搜、底纹、下拉提示等配套能力;
» 更低的拥有成本——相较自建搜索引擎更低的开发、资源、运维成本;
» 更便捷的开发使用——上线周期短,降低搜索引擎开发、效果调优难度;

» 用户搜索意图指向性强——主搜聚集多个频道内容,搜索结果相关性要求更加精准;

以某论坛社区为例,产品线覆盖多个平台,包含网页、APP、小程序等形式,同时业务上区分多个频道。随着业务的发展,首页综合搜索(后简称“主搜”)的流量越来越大,各种付费、引流业务接入,对搜索流量的运营变得更加重要,对主搜的业务诉求越来越多,需要聚合多个频道的内容,同时搜索结果相关性要求更加精准,在考虑文本相关性的前提下,要加入更多的商业因素考虑。
成熟的搜索引擎涉及离线模块、在线模块、查询理解服务、算法平台等系统,所需大量开发、算法调优以及持续的复杂运维工作,由于人力有限,自建搜索系统很难满足业务需求。


常见搜索业务场景

文章搜索

  • 博文、问答、心得分享等内容搜索
  • 精品内容、热帖发现
  • 付费资源引流
  • 标签分类过滤、筛选

(配图来自阿里云开发者社区)

话题搜索

  • 热门活动、话题互动
  • PGC、UGC
  • 热搜、底纹、下拉提示等搜索引导
  • 个性化、时效性

(配图来自阿里云开发者社区)

开放搜索内容社区增强版

方案架构

功能介绍

内容行业增强版基于阿里巴巴最新算法功能,贴合不同垂类内容搜索场景的痛点和需求,提供了内容行业专属的智能语义理解能力、向量召回、排序算法,为内容行业的搜索性能和效果准确性提供双重保障,并有效的解决了超大词库数据导致的搜索延迟高、资源消耗大、搜索无结果率高等行业重难点问题。针对内容行业,开放搜索还提供了向量模型,以实现向量召回及多路搜索,提高查询准确率,并提供多模态搜索解决方案

通用版VS内容行业增强版

  1. 功能差异

功能列表

通用版

内容行业增强版

一站式配置

创建应用后,需要手动创建并配置查询分析、排序策略和下拉提示模型。

结合内容行业常见搜索场景,选择所需能力及功能,同时提供应用结构模板和索引结构模板,实现一键式配置,降低新用户使用门槛。

查询分析

针对通用行业提供同义词拓展、停用词省略、拼写纠错、词权重分析、类目预测等能力。

针对内容行业,提供增强版分析器与查询分析功能。结合内容搜索场景及行业难题,更精准的构建索引并识别用户查询意图,与通用版相比效果更优。

策略排序

创建应用后,需要结合业务场景手动配置并调试相应的排序策略。

在应用结构模板和索引结构模板基础上,提供内容行业常用排序表达式,无需额外配置即可满足大部分内容行业排序效果需求。

功能迭代

定期更新分析器、查询分析等系统默认词典。

根据内容行业的名词、产品等变化,不断迭代更新,优化原有分词、查询分析能力,提供更高时效性的服务保障。

  1. 查询分析效果对比

行业增强版较通用版相比在查询分析功能上做出了更深入的优化,不仅在通用版的基础上更新了常见bad case,而且针对内容行业集各家之所长,丰富已有词库。

  • 分词:(以空格分词)

query

通用版

行业增强版

为了解压缩

为 了解 压缩

为了 解 压缩

实参与形参

实 参与 形参

实参 与 形参

结构体重载

结构 体重 载

结构体重载

googlechromeframe

googlechromeframe

google chrome frame

  • 拼写纠错

query

通用版

行业增强版

淘宝只能视觉

淘宝只能视觉

淘宝智能视觉

mybatics代码生成

mybatics代码生成

mybatis代码生成

计算机网

计算机网路

计算机网络

小程序

微型小程序

微信小程序

深度学西

深度学西

深度学习

内容行业向量召回

针对内容行业的垂类行业数据分布提供高质量的向量召回模型,保证长尾query,包含错别字query,依赖同义词改写召回query的召回效果

  • 向量召回

query

美国gmted2010的shuju下载

向量召回top1

gmt43相关代码、资料下载地址

向量召回top2

gmt0054-2010.pdf

向量召回top3

gmted2010美国download地址

query

3D游戏画面处理

向量召回top1

3d游戏动画处理基础

向量召回top2

3d游戏动画的基础

向量召回top3

动画游戏处理

query

禁用n卡

向量召回top1

网卡的禁止和启动

向量召回top2

禁用网卡

向量召回top3

禁用及启用网卡

CTR预估模型-个性化搜索效果

  1. 基于Seq行为建模,实现个性化搜索

例如:用户连续搜索:“面试”,“Java”两个词和用户只搜索“Java”的结果是有差异的,实现个性化召回,针对性满足不同用户的搜索需求,提示用户搜索体验。

  1. 深度排序模型DeepRanking

模型参数规模可以达到1000亿级别,保障更优搜索效果,且模型训练、使用成本低,远低于自研人力+机器+研发支持所用成本。

  1. 深度召回模型集合阿里云达摩院的NLP能力,提升搜索效果,降低无结果率

针对用户和数据特点,结合阿里巴巴长期技术积累,深度定制模型结构,做到Make for you的特有深度模型结构。

增强版接入流程

轻松接入,快速上手,一键式接入行业模板,可根据自身业务自定义选择功能,并满足非技术人员业务干预调优与数字化运营需求; 点击体验交互式demo

表结构设计

详情可参考应用结构--->创建多表join

数据接入

开放搜索支持用户通过数据源将数据接入搜索,也支持无数据源,通过API/SDK/控制台上传文件的方式导入数据详情如下:

  1. RDS数据源配置
  2. MaxCompute(原ODPS)数据源配置
  3. POLARDB数据源配置
  4. API/SDK数据导入

内容社区行业模板配置

功能选择,垂类选择“IT”行业为例,模板功能可自行勾选(默认全选)

其中模板功能包括:查询分析(IT词权重、IT同义词包、文本向量化等)、排序策略(多路搜索、文本相关性、向量相关性)、下拉提示。

搜索测试

  1. 如需使用“IT向量索引”搜索,需要先配置查询分析-文本向量化功能,并添加对应的IT向量索引
  2. 在搜索测试中进行测试:

效果定制服务

如果有深度召回、排序效果调优、个性化搜索需求,开放搜索团队专家支持效果定制服务,可填写咨询问卷:https://page.aliyun.com/form/act1638084369/index.htm

案例实践

某技术社区作为中文IT内容社区,致力于为中国软件开发者提供知识传播、在线学习、职业发展等全生命周期服务,旗下包括多款产品。

自开始接触阿里云开放搜索产品,在一年的时间里陆续接入PC端、移动端的多个平台,覆盖首页搜索、博客、下载、问答等细分业务的频道搜索。通过开放搜索,为旗下产品的用户提供高质量的搜索服务,并通过搜索能力的优化带来更多的业务转化,提升整体业务收入。

  • 对比基于开源自建的服务CTR提升超过80%
  • 后续算法专家通过深度定制模型不断帮客户调优,每曝光用户带来点击次数提升16.7%,Item-CTR提升11.8%,效果还在持续提升中;


>>点击体验开放搜索内容社区行业增强版DEMO

填写问卷获得专家指导:https://page.aliyun.com/form/act1638084369/index.htm

如果你想与更多开发者们进行交流、了解最前沿的搜索与推荐技术,可以钉钉扫码加入社群

lQDPDhttpX8BRlzNArrNAuawwx8QLG6G5sQChFFmU4DnAA_742_698.jpg

目录
相关文章
|
JSON 安全 API
Microsoft邮箱API发送邮件的方法和步骤
Aoksend详解如何使用Microsoft邮箱API发送邮件:1. 在Azure创建应用并获取访问权限;2. 设置API请求头,含Authorization和Content-Type;3. 构建JSON格式的邮件内容;4. 使用POST方法发送至API端点;5. 检查响应处理发送结果。遵循最佳实践,安全集成邮件功能。
钉钉宜搭6月15日版本更新:手写签名和定位组件来啦!
本次版本更新主要针对流程、表单进行了组件能力升级,新增了手写签名和定位2个组件,同时升级地址、人员和部门3个组件。
2817 0
钉钉宜搭6月15日版本更新:手写签名和定位组件来啦!
|
3月前
|
并行计算 机器人 网络安全
阿里云服务器上部署ROS2+Isaac-Sim4.5实现LeRobot机械臂操控
本文介绍了如何在阿里云上申请和配置一台GPU云服务器,并通过ROS2与Isaac Sim搭建机械臂仿真平台。内容涵盖服务器申请、系统配置、远程连接、环境搭建、仿真平台使用及ROS2操控程序的编写,帮助开发者快速部署机器人开发环境。
953 4
|
7月前
|
人工智能 自然语言处理 搜索推荐
ViDoRAG:开源多模态文档检索框架,多智能体推理+图文理解精准解析文档
ViDoRAG 是阿里巴巴通义实验室联合中国科学技术大学和上海交通大学推出的视觉文档检索增强生成框架,基于多智能体协作和动态迭代推理,显著提升复杂视觉文档的检索和生成效率。
345 8
ViDoRAG:开源多模态文档检索框架,多智能体推理+图文理解精准解析文档
|
12月前
|
数据采集 UED Python
如何应对动态图片大小变化?Python解决网页图片截图难题
随着互联网技术的发展,电商平台如京东(JD.com)广泛采用动态内容加载技术,给爬虫获取商品图片带来挑战:图片无法直接保存,尺寸动态变化,且存在反爬机制。本文介绍如何利用Python结合代理IP、多线程技术解决这些问题,通过Selenium和Pillow库实现动态网页图片的屏幕截图,有效绕过反爬措施,提升数据抓取效率和稳定性。具体步骤包括设置代理IP、使用Selenium抓取图片、多线程提升效率以及设置cookie和user-agent伪装正常用户。实验结果显示,该方法能显著提升抓取效率,精准截图保存图片,并成功绕过反爬机制。
298 2
|
12月前
|
存储 消息中间件 NoSQL
Redis 数据结构与对象
【10月更文挑战第15天】在实际应用中,需要根据具体的业务需求和数据特点来选择合适的数据结构,并合理地设计数据模型,以充分发挥 Redis 的优势。
230 64
|
12月前
|
供应链 前端开发 数据库
代购系统的开发与应用
在全球化背景下,代购系统作为连接消费者与全球商品的桥梁,通过专业代购人员或机构,解决关税、语言等障碍,为消费者提供安全可靠的购物平台。该系统涵盖前端界面、后端服务、数据库及支付接口等核心组件,实现商品展示、订单管理、库存管理和支付物流等功能,提升用户体验,促进跨境电商和个人代购业务的发展。面对数据安全、跨境支付等挑战,代购系统正逐步优化,未来将在全球购物领域发挥更大作用。
248 2
|
人工智能 编解码 数据可视化
影视与游戏行业AI视频制作实战:第一步,角色形象设计的一致性
随着生成式人工智能技术的发展和应用,影视与游戏行业也迎来了AI化的时代。
|
人工智能 算法 安全
训练数据集污染与模型算法攻击将成为AI新的棘手问题
【1月更文挑战第11天】训练数据集污染与模型算法攻击将成为AI新的棘手问题
460 3
训练数据集污染与模型算法攻击将成为AI新的棘手问题
|
存储 关系型数据库 Apache
Apache Doris 实时数据仓库的构建与技术选型方案
Apache Doris 实时数据仓库的构建与技术选型方案
1875 32