备案控制台
开发者社区 云计算 文章 正文

lucene倒排索引瘦身的一些实验——merge的本质是减少cfx文件 变为pos和doc；存储term vector多了tvx和tvd文件有337M

2017-11-14 1180
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
store NO 
压缩后的原始数据 原始数据大小 索引大小 索引时间 单词搜索时间
266 791 594 176 0.2
文件组成见后

运行forceMerge(3）后 merge的本质是减少cfx文件 变为pos和doc
索引大小 .doc .pos tip/tim cfs 仅1个
506 132 62 267 33



field store NO 索引大小 594
索引文件组成 fdt/fdx/fnm .doc .pos tip/tim cfs
0.15 72 37 180 298

field store YES 索引大小 1.06
索引文件组成 fdt/fdx/fnm .doc .pos tip/tim cfs
302 76 39 204 461


field store NO 同时NOT_ANALYZED 索引大小 669
索引文件组成 fdt/fdx/fnm .doc .pos tip/tim cfs
0.01 0.2 11 635 21

field store NO IndexOptions.DOCS 索引大小 383
索引文件组成 fdt/fdx/fnm .doc .pos tip/tim cfs
0.2 108 0.2 180 85
OmitNorms 索引大小 380

field store NO IndexOptions.DOCS 加 int ID后 索引大小 383
加string ID 索引大小 393
加string ID StoreTermVectors(true);

索引大小 1G 发现tvx和tvd文件有337M













本文转自张昺华-sky博客园博客，原文链接：http://www.cnblogs.com/bonelee/p/6612789.html，如需转载请自行联系原作者

文章标签：
索引
存储
桃子红了呐
目录
相关文章
陈明勇
|
3月前
|
Go 索引
Go 1.22 slices 库的更新：高效拼接、零化处理和越界插入优化
本文详细介绍了 Go 1.22 版本中 slices 库的更新内容，总结起来有三个方面：新增了 Concat 函数、对部分函数新增了零化处理的逻辑和对 Insert 函数进行了越界插入优化
陈明勇
100 1
Go 1.22 slices 库的更新：高效拼接、零化处理和越界插入优化
小小工匠
|
12月前
|
缓存 自然语言处理 数据挖掘
白话Elasticsearch50-深入聚合数据分析之基于doc values正排索引的聚合内部原理
白话Elasticsearch50-深入聚合数据分析之基于doc values正排索引的聚合内部原理
小小工匠
80 0
小小工匠
|
12月前
|
缓存 Java 数据挖掘
白话Elasticsearch50-深入聚合数据分析之doc values机制
白话Elasticsearch50-深入聚合数据分析之doc values机制
小小工匠
74 0
游客rigajubvzf2hs
|
Linux 数据处理 Ruby
cdo （Climate Data Operators ） 常用命令介绍：（查看文件信息、多文件合并、数据裁剪、数据插值、数据计算。。）
cdo （Climate Data Operators ） 常用命令介绍：（查看文件信息、多文件合并、数据裁剪、数据插值、数据计算。。）
游客rigajubvzf2hs
687 0
cdo （Climate Data Operators ） 常用命令介绍：（查看文件信息、多文件合并、数据裁剪、数据插值、数据计算。。）
技术小达人
|
存储 机器学习/深度学习 缓存
针对存储排序文件过程中合并和压缩的算法LSM-Tree
LSM-Tree全称为Log-Structured Merge-Tree，日志结构合并树，它的架构分为内存部分和有序的磁盘部分，内存部分实现高速写，有序的磁盘部分实现高效查。
技术小达人
641 0
针对存储排序文件过程中合并和压缩的算法LSM-Tree
ADI
|
机器学习/深度学习 JavaScript 算法
[记录]我的Diff算法学习路径
[记录]我的Diff算法学习路径
ADI
111 0
德哥,digoal
|
SQL 存储 算法
SQL语义转换、内存带宽、JOIN算法、FILTER亲和力、TSP、HINT、命中率、存储顺序、扫描顺序、索引深度
德哥,digoal
1646 0
桃子红了呐
|
自然语言处理 索引
sphinx 源码阅读之分词，压缩索引，倒排——单词对应的文档ID列表本质和lucene无异 也是外部排序再压缩 解压的时候需要全部扫描doc_ids列表偏移量相加获得最终的文档ID
桃子红了呐
1214 0
桃子红了呐
|
索引
lucene segment会包含所有的索引文件，如tim tip等，可以认为是mini的独立索引
桃子红了呐
1444 0
桃子红了呐
|
Java 索引 Go
ES doc_values的来源，field data——就是doc->terms的正向索引啊，不过它是在查询阶段通过读取倒排索引loading segments放在内存而得到的？
桃子红了呐
1705 0