201608北京云栖大会Workshop - 视频场景下的云搜索实践-阿里云开发者社区

开发者社区> zhengmay> 正文

201608北京云栖大会Workshop - 视频场景下的云搜索实践

简介: 阿里云开放搜索是一个结构化的搜索托管服务,本文一步一步带领大家完成一个视频搜索服务搭建。
+关注继续查看

目标

  • 熟悉OpenSearch搜索服务创建流程;
  • 学会配置OpenSearch相关性表达式;
  • 完成一个视频搜索服务搭建。

创建应用

  • 进入OpenSearch管理控制台:http://opensearch.console.aliyun.com/
  • 登录到OpenSearch控制台,点击右上角“创建应用”按钮,开始创建一个搜索应用;
  • 填写应用名称、选择地域以及应用描述信息(地域选择必须选择“华东1(北京)”】)。点击下一步;lALOZWv5Ks0CIc0Ebg_1134_545.png
  • 勾选“通过数据源创建应用结构”,OpenSearch支持RDS与ODPS的表来直接创建应用结构,这里我们演示下如何通过RDS源来生成应用结构,ODPS类似;
    lALOZW7rTs0BJc0DWQ_857_293.png
  • 选择“RDS”,点击“+新的数据库”,填写上对应的RDS实例名称,并连接(rds实例已经创建好,实例名参照RDS控制台:https://rdsnew.console.aliyun.com/console/index#/rdsList/basic/all/normal,库名:video_search,用户:opensearch,密码:Opensearch1234)
    lALOZW6BLc0Bps0EEw_1043_422.png
  • 找到对应的表,点击确定。
    lALOZW6A4c0CR80DUg_850_583.png
  • 这里可以看到,RDS中的表字段已经导入进来,这时候我们需要指定主键字段,并且修改到OpenSearch的字段类型
    OpenSearch支持多表简单join关系,时间关系,我们这里以单表为例。 这里面包含了视频媒体的主要信息,如title:标题、keyword:关键词、type:类型、user:上传者、director:导演、actor:演员、plays:播放次数、img_name:展示图片、area:发布地区、language:语言、description:简介、year:上映时间、length:时长、create_time:上传时间、play_url:视频播放地址;
    lALOZW6BZs0Co80DXA_860_675.png
  • 点击下一步,进行搜索字段设置。索引字段主要指需要查询的集合,同类型字段可以做组合查询,比如下例中default索引,如果query=default:’哈利波特’,则会到title、keyword、director、actor、description字段中统一查找。如果query=title:’哈利波特’,则只从title字段中去查找,可以实现影片查询和全库查询的功能。 属性字段主要用来做过滤、统计和排序等功能,这里我们主要提供对时长等的过滤、对发布时间、播放次数等的排序功能。
    lALOZW8lm80CYM0Dxg_966_608.png
  • 点击完成后,应用创建成功。

激活应用

  • 点击激活应用,进行激活。这里请务必选择免费容量,以免产生费用,影响使用。
    lALOZW8h-s0B4s0DWg_858_482.png
  • 这时候可以跳转到应用列表页面,看到我们刚创建的应用,已经在全量数据构建中了。点击进入管理界面,可以对应用进行更多功能的配置。
    lALOZW7twM0CFc0DTA_844_533.png

高级配置

一个搜索应用已经创建成功,全量构建完成后,就可以搜索了。但是搜索出内容后,如何将最优的结果展示出来呢?接下来我们就来对优化项进行配置。

搜索结果排序

  • OpenSearch开放了两阶段的相关性排序,可以很好的兼容性能和复杂排序功能的需求。粗排也就是海选,目的是选择尽量好的文档,精排会对已选取的TOP文档进行更细粒度的排序算分。
  • 粗排为:static_bm25(),搜索关键词的文本匹配度;
  • 精排为:text_relevance(title)*6+text_relevance(director)*2+text_relevance(actor)*2+timeliness(creat_time)+gauss_decay(0,plays,5000,0.000001,0.1),主要参考title、director、actor三部分的匹配度、发布时间的时效性以及播放次数,并进行权重配置。
    lALOZW7t8c0Buc0DVQ_853_441.png
  • 将新配置排序表达式设置为默认,点击保存后即可对查询起作用。
    lALOZW7uAc0Bqs0DVQ_853_426.png

搜索结果展示

OpenSearch允许对搜索结果命中匹配词进行飘红展示和摘要截取,更有利于搜索结果的展示。

lALOZW7uYc0BqM0DWA_856_424.png

下拉提示

  •  下拉提示 接下来我们来配置一个在搜索场景中非常常见且有用的功能:下拉提示。目前系统支持支持拼音、前缀、中文等的查询提示。
  • 下拉提示会从当前已有的字段中来选取常用关键词,以保证查询是有结果的。同时支持下拉提示中黑白名单的配置。配置完毕后点击“生效下拉提示”即可。
    lALOZW7u6c0BwM0DVA_852_448.png
  • 生效完毕后,可以做下效果测试。
    lALOZW7vDczjzQNY_856_227.png

搜索测试

搜索测试页面是个界面化的搜索测试工具,在排查问题及日常测试过程中非常好用。
lALOZW9_u80D7M0DSw_843_1004.png

结束

至此,一个完整的视频搜索已经完成了,简单吧?接下来,让我们在demo环境中实际创建一个视频看下吧。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
201604深圳云栖大会Workshop - 用OSS搭建一个视频直播网站
使用OSS搭建一个完整的视频直播网站,可以创建删除直播频道,并且能够使用直播软件从PC端或者移动端推送视频流,并在PC或者移动端观看直播
4667 0
云场景实践研究第20期:梨视频
作为中国领先的资讯类短视频生产者,梨视频采用阿里云平台搭建了数据处理系统和梨视频推荐系统,本文从架构和实现的角度介绍梨视频上云的实践经验。
1807 0
阿里视频云黄海宇:解析世界杯超大规模直播场景下的码率控制
这一次的世界杯,与以往世界杯最大的区别在于,有很多互联网用户观看直播,而不是在电视上。在互联网观看直播,互联网的网络条件不一样,观众会看不同码率的视频。所以主要分享下阿里云在直播中怎么做码率控制。
7623 0
直播:HBase中Coprocessor的介绍以及实际业务场景中的使用
HBase生态+Spark社区大群直播:讲解hbase coprocessor的原理以及使用场景;coprocessor整个流程实战,包括开发,加载,运行以及管理;结合1,2分析coprocessor在rsgroup中的具体使用。
2314 0
【预告】视频+讲义:2016杭州云栖大会,资料将开放下载
2016杭州・云栖大会资料正在紧锣密鼓处理中,现场视频及嘉宾演讲资料,均将在近期陆续在官网上线。敬请关注!
14052 0
ElasticStack核心应用场景企业搜索介绍
企业搜索的业务场景决定了企业搜索的特点和需求,Elastic 在 Elasticsearch 强大功能的基础之上,构建了更加易用的企业搜索解决方案 Elastic Enterprise Search。Elastic Enterprise Search 针对企业搜索场景,提供了从自身部署到权限控制、从文档接入到查询优化、从前端 UI 到结果控制的全场景覆盖的支持能力,虽然其相比自己构建一套企业搜索系统的门槛已非常低,易用性也非常好,但毕竟是一套接口完善、功能众多、相对复杂的系统。以上内容仅简单介绍其基本能力,如需将其应用于生产环境,还需结合实际业务需求,仔细阅读相关文档并进行深入研究和实践
189 0
SSO场景系列:实现Shibboleth+Ldap到阿里云的单点登录
Shibboleth简介 Shibboleth是一个基于标准的,实现组织内部或跨组织的网页单点登录的开源软件包。它允许站点为处于私有保护方式下的受保护的在线资源做出被通知的认证决定。 Shibboleth软件工具广泛使用联合的身份标准,主要是OASIS安全声称标记语言(SAML),来提供一个联合单点登录和属性交换框架。
6656 0
SOCK: Serverless场景的runc容器启动优化方案
> [原文链接 SOCK: Rapid Task Provisioning with Serverless-Optimized Containers](https://www.usenix.org/system/files/conference/atc18/atc18-oakes.pdf) > 译者 据德 ### 一. 摘要 Serverless计算平台能够为用户降低生产成本以及
1529 0
+关注
zhengmay
阿里云开放搜索产品专家,专注于企业级搜索方案解决
2
文章
3
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载