多媒体信息处理学习笔记-Chap 4. Text Processing and Information Retrieval

简介: 多媒体信息处理学习笔记-Chap 4. Text Processing and Information Retrieval

Chap 4. Text Processing and Information Retrieval


▪ 文本信息检索是针对文本的信息检索技术

▪ 对其它媒体的信息检索提供支持

▪ 大部分网络搜索引擎的基础

▪ 应用场景:网页搜索、自动文摘、文本分类、舆情监控、问答查询、聊天机器人


▪ 信息检索模型

▪ 信息检索中的文本处理技术

▪ 文本处理

▪ 文本索引

▪ 相关反馈 & 查询扩展

▪ 提高检索性能

▪ 文本检索评测标准


▪ 信息检索(IR),将信息按一定的方式组织和存储起来,并根据用户的需要找出有关信息的过程

▪ 信息检索模型(IR model),依照用户查询,对文档集合进行相关排序的一组前提假设和算法。通常可表示为四元组▪ <D, Q, F, R(qi, dj)>

▪ D: 文档集合▪ Q: 查询集合▪ F: 对文档和查询建模的框架▪ R(qi, dj): 排序函数

▪ 三种经典检索模型

▪ 布尔模型(Boolean)▪ 索引项的集合

▪ 向量空间模型▪ t维空间中的向量

▪ 概率模型


结语:

Information retrieval is described in terms of predictive text mining.

The methods can be considered variations of similarity-based

nearest-neighbor methods. Both key word search and full document

matching are examined. Different methods of measuring similarity are

considered including cosine similarity. Classical information

retrieval has evolved from retrieval of documents stored in databases

to web or intranet based documents. These document have richer

representations with links among documents. Link analysis for ranking

similarity of documents is described. Some performance issues for

computing similarity are considered including the specification of

inverted lists for indexing documents.


信息检索是用预测性文本挖掘来描述的。这些方法可以被认为是基于相似性的近邻方法的变化。对关键词搜索和完整的文档匹配都进行了研究。考虑了测量相似性的不同方法,包括余弦相似性。经典的信息检索已经从存储在数据库中的文档检索发展到基于网络或内部网的文档。这些文件有更丰富的表示,文件之间有链接。描述了用于排列文档相似度的链接分析。考虑了计算相似性的一些性能问题,包括用于索引文档的倒置列表的规范。

目录
相关文章
|
数据采集 存储 Docker
深入理解Docker:为你的爬虫项目提供隔离环境
本教程介绍如何使用Docker构建隔离环境,运行Python爬虫项目,采集小红书视频页面的简介和评论。主要内容包括: 1. **Docker隔离环境**:通过Docker容器化爬虫,确保环境独立、易于部署。 2. **代理IP技术**:利用亿牛云爬虫代理突破反爬限制。 3. **Cookie与User-Agent设置**:伪装请求头,模拟真实用户访问。 4. **多线程采集**:提高数据采集效率。 前置知识要求:Python基础、Docker基本操作及HTML解析(可选)。教程还涵盖常见错误解决方法和延伸练习,帮助你优化爬虫代码并避免陷阱。
526 7
深入理解Docker:为你的爬虫项目提供隔离环境
|
人工智能 Java 程序员
一文彻底搞清楚C语言的循环语句
本文介绍了C语言中的三种循环语句:`while`、`do-while`和`for`,并详细解释了它们的语法格式、执行流程及应用场景。此外,还讲解了循环控制语句`break`和`continue`的使用方法。希望这些内容能帮助你在编程道路上不断进步,共同成长!
1738 0
一文彻底搞清楚C语言的循环语句
|
监控 前端开发 开发工具
ARMS前端监控
【8月更文挑战第25天】
652 1
|
网络安全
mac下通过ssh脚本实现免账号密码连接运服务器
mac下通过ssh脚本实现免账号密码连接运服务器
313 3
|
存储 固态存储 定位技术
如何选择移动存储设备
【10月更文挑战第6天】选择移动存储设备需考虑多个因素,包括存储容量、读写速度、接口类型、设备类型及数据安全。容量应根据需求评估,留有余量;读写速度影响传输效率,USB 3.0 及以上接口更佳;设备类型有U盘、移动硬盘等,各具特色;数据加密和品牌质量保证则提升数据安全性。
934 0
|
SQL 关系型数据库 测试技术
SqlAlchemy 2.0 中文文档(四十)(3)
SqlAlchemy 2.0 中文文档(四十)
225 1
|
敏捷开发 测试技术 持续交付
阿里云云效产品使用合集之流水线构建出现问题,连接不到nuget,该如何处理
云效作为一款全面覆盖研发全生命周期管理的云端效能平台,致力于帮助企业实现高效协同、敏捷研发和持续交付。本合集收集整理了用户在使用云效过程中遇到的常见问题,问题涉及项目创建与管理、需求规划与迭代、代码托管与版本控制、自动化测试、持续集成与发布等方面。
|
Java 编译器
java中instanceof使用详细介绍
java中instanceof使用详细介绍
787 0
|
人工智能 数据库
数据库关系运算理论:专门的关系运算概念解析
数据库关系运算理论:专门的关系运算概念解析
732 0
|
人工智能 监控 算法
《多路监控视频实时拼接》原理及案例分享
通过视频拼接技术,对有重叠区域的多路源视频数据利用拼接算法进行无缝实时拼接,消除重叠区域,形成宽角度、大视场视频图像,从而实现将多路监控视频拼接成一路视频,使拼接后的视频清晰无缝,并实时播放,同时支持回放查看,解决多个人同时对同一监控场景不同角度进行观看的需求,充分满足用户的需求。
2960 0

热门文章

最新文章