AI 助理
备案控制台
开发者社区 云计算 文章 正文

lucene倒排索引瘦身的一些实验——merge的本质是减少cfx文件 变为pos和doc；存储term vector多了tvx和tvd文件有337M

2017-11-14 1289
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
store NO 
压缩后的原始数据 原始数据大小 索引大小 索引时间 单词搜索时间
266 791 594 176 0.2
文件组成见后

运行forceMerge(3）后 merge的本质是减少cfx文件 变为pos和doc
索引大小 .doc .pos tip/tim cfs 仅1个
506 132 62 267 33



field store NO 索引大小 594
索引文件组成 fdt/fdx/fnm .doc .pos tip/tim cfs
0.15 72 37 180 298

field store YES 索引大小 1.06
索引文件组成 fdt/fdx/fnm .doc .pos tip/tim cfs
302 76 39 204 461


field store NO 同时NOT_ANALYZED 索引大小 669
索引文件组成 fdt/fdx/fnm .doc .pos tip/tim cfs
0.01 0.2 11 635 21

field store NO IndexOptions.DOCS 索引大小 383
索引文件组成 fdt/fdx/fnm .doc .pos tip/tim cfs
0.2 108 0.2 180 85
OmitNorms 索引大小 380

field store NO IndexOptions.DOCS 加 int ID后 索引大小 383
加string ID 索引大小 393
加string ID StoreTermVectors(true);

索引大小 1G 发现tvx和tvd文件有337M













本文转自张昺华-sky博客园博客，原文链接：http://www.cnblogs.com/bonelee/p/6612789.html，如需转载请自行联系原作者

文章标签：
索引
存储
桃子红了呐
目录
相关文章
龙蜥社区（OpenAnolis）
|
5月前
|
存储 缓存 人工智能
Mooncake 最新进展：SGLang 和 LMCache 基于 Mooncake 实现高效 PD 分离框架
Mooncake 的架构设计兼具高性能和灵活性，为未来的扩展性和生态建设奠定了坚实基础。
龙蜥社区（OpenAnolis）
1048 6
一只牛博
|
SQL 监控 关系型数据库
MySQL Binlog深度解析：进阶应用与实战技巧【进阶应用】
MySQL Binlog深度解析：进阶应用与实战技巧【进阶应用】
一只牛博
887 0
www.qqkjcj.com
|
存储 安全 算法
RSA非对称加密算法中的密钥对生成与传输
RSA非对称加密算法的密钥对生成与传输是信息安全领域的核心问题之一。密钥生成过程需要保证随机性和安全性，而密钥的传输则需要选择适当的方式来确保其保密性和完整性。通过合理的密钥管理和保护措施，可以有效地利用RSA算法保护通信安全，防止信息泄露和篡改。在实际应用中，用户和系统管理员需要结合具体情况选择最佳的密钥生成和传输策略，以达到最佳的安全性和效率。
www.qqkjcj.com
290 0
1941623231718325
|
机器学习/深度学习 算法 PyTorch
PyTorch中的动态计算图与静态计算图
【4月更文挑战第18天】PyTorch的动态计算图在运行时构建，灵活且易于调试，适合模型开发，但执行效率相对较低，不易优化。静态计算图预定义，执行效率高，利于优化，适用于对效率要求高的场景，但灵活性和调试难度较大。两者在模型开发与部署阶段各有优势。
1941623231718325
680 0
ZOMI酱
|
机器学习/深度学习 人工智能 负载均衡
【推理引擎：核心原理】系列来啦！从入门到昇腾！
《AI推理引擎：核心原理》这个系列的内容：从推理系统整体架构开始，然后到模型小型化、模型压缩，在真正推理之前需要进行模型转换和图优化，最后到kernel和runtime优化。
ZOMI酱
1483 0
【推理引擎：核心原理】系列来啦！从入门到昇腾！
白水你要努力啊
|
并行计算 Linux C++
Linux上C++与CUDA混合编程
Linux上C++与CUDA混合编程
白水你要努力啊
790 0
烹茶室
|
Kubernetes NoSQL Cloud Native
Juice FS 初探 ｜ 一种为 VPS 提供无限磁盘空间的解决方案
**JuiceFS** 是一款面向云原生设计的高性能分布式文件系统，在 Apache 2.0 开源协议下发布
烹茶室
580 0
auqbllxiu
|
自然语言处理 IDE Java
有了这12款idea插件后，室友再也不叫我小白了
搞Java开发用什么软件，当然是神器idea了，那么，idea的插件对于你来说就是必不可少的了，不仅可以提高自己的编码效率，还可以减轻工作时的枯燥烦闷。接下来就来说说，作为一名小白，我在平时敲代码用的什么插件吧。
auqbllxiu
407 0
有了这12款idea插件后，室友再也不叫我小白了
问答小能手！
|
Cloud Native 云计算 开发者
阿里云MVP第14期全球发布：云时代2.0，遇见科技追梦者！
大牛云集，重磅加入！
问答小能手！
25801 0
阿里云MVP第14期全球发布：云时代2.0，遇见科技追梦者！
开发者社区
|
数据库 索引 搜索推荐
Elasticsearch大文件检索性能提升20倍实践（干货）
本文，详细记录了大文件的全文检索性能问题排查及提升实践方式。
开发者社区
889 1

热门文章

最新文章

  • 1
    如何配置 Java 环境变量：设置 JAVA_HOME 和 PATH
  • 2
    什么是Widevine？Widevine DRM详解
  • 3
    Linux下如何查看高CPU占用率线程 LINUX CPU利用率计算
  • 4
    什么是tomcat？tomcat是干什么用的？
  • 5
    Webpack和Vite的区别
  • 6
    微信小程序：本地开发环境和线上环境配置
  • 7
    数据人必读！玩转数据可视化用这个就够了——高德LOCA API 2.0升级来袭！
  • 8
    Point Grey articles link
  • 9
    数据库负载急剧提高的应急处理(二)
  • 10
    软刀子割肉：智能电视的软陷阱
  • 1
    《政企API网关：安全与性能平衡的转型实践》
    36
  • 2
    《SaaS网关多租户治理：从串流到稳控的实践》
    30
  • 3
    从DQN到Double DQN：分离动作选择与价值评估，解决强化学习中的Q值过估计问题
    31
  • 4
    Aquarius 官方发布 3 级海面密度标准映射图像季节性数据 V5.0
    69
  • 5
    【Azure App Service】Root CA on App Service
    45
  • 6
    基于springboot的非遗传承宣传平台
    46
  • 7
    Proxmox Mail Gateway 9.0 正式版发布 - 全面的开源邮件安全平台
    32
  • 8
    VMware NSX 9.0.1.0 发布 - 下一代网络安全虚拟化平台
    60
  • 9
    爬坑 10 年！京东店铺全量商品接口实战开发：从分页优化、SKU 关联到数据完整性闭环
    37
  • 10
    VMware vSphere 9.0.1.0 发布 - 企业级工作负载平台
    32

    • 相关电子书

    更多
  • 低代码开发师（初级）实战教程
  • 冬季实战营第三期：MySQL数据库进阶实战
  • 阿里巴巴DevOps 最佳实践手册
    • 下一篇
    阿里云免费云服务器:个人用户每月750小时免费