solr&lucene spatial search 大规模地理搜索性能堪忧

简介: 假期重新把之前在新浪博客里面的文字梳理了下,搬到这里。最早发布时间2013年的时候。以下内容非最新版本的性能表现。

solr lucene spatial 性能堪忧啊。
(1)4b record 10k qps
场景的一个讨论http://lucene.472066.n3.nabble.com/Improving-performance-for-SOLR-geo-queries-td3719310.html


(2)spatial
历史http://www.searchworkings.org/blog/-/blogs/the-state-and-future-of-spatial-search/  


(3)目前看20tps 2Mrecord benchmark https://issues.apache.org/jira/browse/SOLR-2155?focusedCommentId=12988316&page=com.atlassian.jira.plugin.system.issuetabpanels:comment-tabpanel#comment-12988316


(4)filtercache
优化性能  http://lucene.472066.n3.nabble.com/Solr-Spatial-Search-for-Specif-Areas-on-Map-td3995051.html#a3995333

spatial
的流派、geo模型、开源协议、版本的更新,热点的LSP啊,路还长啊。从上几篇博文看:
(1)tdouble
类型定义隐藏子域类型很有必要,因为geo转换的区间查询时候,trie类型牺牲空间还性能。presicestep8 调为4
(2)
使用LSP RecursivePrefixTreeFieldType  而不是内置的LatLonType 性能有2倍提升
(3)shard record
数据量200M2kw
(4)filtquery
针对query特征需要适当cache=false
(5)geohash
3.* 序列其实是暴力遍历的,geohash意味着不要用
(6) lucene4.*
优化的方向就是缩小匹配规模,triegrid也罢,二分查找grid binary grid scheme, using Hilbert Curves希尔伯特曲线,还有不少实践路要走
(7)latlon
类型的基于点模型,满足80%的场景需求

2330w
地理数据的单core 压测、性能调优,需要深入挖坑了看来。

目录
相关文章
|
5月前
|
SQL JSON 大数据
ElasticSearch的简单介绍与使用【进阶检索】 实时搜索 | 分布式搜索 | 全文搜索 | 大数据处理 | 搜索过滤 | 搜索排序
这篇文章是Elasticsearch的进阶使用指南,涵盖了Search API的两种检索方式、Query DSL的基本语法和多种查询示例,包括全文检索、短语匹配、多字段匹配、复合查询、结果过滤、聚合操作以及Mapping的概念和操作,还讨论了Elasticsearch 7.x和8.x版本中type概念的变更和数据迁移的方法。
ElasticSearch的简单介绍与使用【进阶检索】 实时搜索 | 分布式搜索 | 全文搜索 | 大数据处理 | 搜索过滤 | 搜索排序
|
7月前
|
缓存 监控 负载均衡
使用Apache Solr进行搜索优化的技术探索
【6月更文挑战第6天】探索Apache Solr搜索优化,通过字段选择、分析器优化、索引压缩提升索引效率;优化查询分析、缓存、分组排序以增强查询性能;硬件升级、分布式部署及监控调优保证系统稳定性。实战案例展示如何在电商平台上应用这些策略,实现快速准确的搜索服务。Solr在大数据时代展现出广阔的应用潜力。
|
存储 监控 负载均衡
大数据数据存储的搜索引擎Elasticsearch的调优的检索/聚合优化
Elasticsearch是一个可扩展的搜索引擎,可以在同一个集群中部署多个Elasticsearch节点,以提高性能和可用性。
171 2
|
机器学习/深度学习 人工智能 编解码
【搜索引擎】Apache Solr 神经搜索
【搜索引擎】Apache Solr 神经搜索
|
Java 索引
白话Elasticsearch11-深度探秘搜索技术之基于tie_breaker参数优化dis_max搜索效果
白话Elasticsearch11-深度探秘搜索技术之基于tie_breaker参数优化dis_max搜索效果
113 0
|
分布式计算 Java Hadoop
白话Elasticsearch07- 深度探秘搜索技术之基于term+bool实现的multiword搜索底层剖析
白话Elasticsearch07- 深度探秘搜索技术之基于term+bool实现的multiword搜索底层剖析
91 0
|
算法
白话Elasticsearch15-深度探秘搜索技术之使用copy_to定制组合field解决cross-fields搜索弊端
白话Elasticsearch15-深度探秘搜索技术之使用copy_to定制组合field解决cross-fields搜索弊端
94 0
|
SQL JSON 自然语言处理
白话Elasticsearch01- 结构化搜索之使用term query来搜索数据
白话Elasticsearch01- 结构化搜索之使用term query来搜索数据
312 0
|
分布式计算 搜索推荐 架构师
【搜索引擎】Solr:提高批量索引的性能
【搜索引擎】Solr:提高批量索引的性能
|
Java Apache 索引
白话Elasticsearch10-深度探秘搜索技术之基于dis_max实现best fields策略进行多字段搜索
白话Elasticsearch10-深度探秘搜索技术之基于dis_max实现best fields策略进行多字段搜索
102 0