solr&lucene spatial search 大规模地理搜索性能堪忧

简介: 假期重新把之前在新浪博客里面的文字梳理了下,搬到这里。最早发布时间2013年的时候。以下内容非最新版本的性能表现。

solr lucene spatial 性能堪忧啊。
(1)4b record 10k qps
场景的一个讨论http://lucene.472066.n3.nabble.com/Improving-performance-for-SOLR-geo-queries-td3719310.html


(2)spatial
历史http://www.searchworkings.org/blog/-/blogs/the-state-and-future-of-spatial-search/  


(3)目前看20tps 2Mrecord benchmark https://issues.apache.org/jira/browse/SOLR-2155?focusedCommentId=12988316&page=com.atlassian.jira.plugin.system.issuetabpanels:comment-tabpanel#comment-12988316


(4)filtercache
优化性能  http://lucene.472066.n3.nabble.com/Solr-Spatial-Search-for-Specif-Areas-on-Map-td3995051.html#a3995333

spatial
的流派、geo模型、开源协议、版本的更新,热点的LSP啊,路还长啊。从上几篇博文看:
(1)tdouble
类型定义隐藏子域类型很有必要,因为geo转换的区间查询时候,trie类型牺牲空间还性能。presicestep8 调为4
(2)
使用LSP RecursivePrefixTreeFieldType  而不是内置的LatLonType 性能有2倍提升
(3)shard record
数据量200M2kw
(4)filtquery
针对query特征需要适当cache=false
(5)geohash
3.* 序列其实是暴力遍历的,geohash意味着不要用
(6) lucene4.*
优化的方向就是缩小匹配规模,triegrid也罢,二分查找grid binary grid scheme, using Hilbert Curves希尔伯特曲线,还有不少实践路要走
(7)latlon
类型的基于点模型,满足80%的场景需求

2330w
地理数据的单core 压测、性能调优,需要深入挖坑了看来。

目录
相关文章
|
10月前
|
Web App开发 人工智能 自然语言处理
WebChat:开源的网页内容增强问答 AI 助手,基于 Chrome 扩展的最佳实践开发,支持自定义 API 和本地大模型
WebChat 是一个基于 Chrome 扩展开发的 AI 助手,能够帮助用户理解和分析当前网页的内容,支持自定义 API 和本地大模型。
778 1
|
10月前
|
自然语言处理 运维 开发工具
深入探讨了 NeoVim 相较于传统 Vim 的优势,包括更好的扩展性、现代化的界面和用户体验、多语言编程支持、强大的异步处理能力、更好的协作支持、持续的更新和改进、活跃的社区以及与现代开发工具的集成
本文深入探讨了 NeoVim 相较于传统 Vim 的优势,包括更好的扩展性、现代化的界面和用户体验、多语言编程支持、强大的异步处理能力、更好的协作支持、持续的更新和改进、活跃的社区以及与现代开发工具的集成。通过命令对比,展示了两者在启动、配置、模式切换、移动编辑、搜索替换、插件管理、文件操作、窗口缓冲区管理和高级功能等方面的差异。总结部分强调了 NeoVim 在多个方面的显著优势,解释了为什么越来越多的运维人员选择 NeoVim。
650 3
|
人工智能 测试技术
真相了!大模型解数学题和人类真不一样:死记硬背、知识欠缺明显,GPT-4o表现最佳
【8月更文挑战第15天】WE-MATH基准测试揭示大型多模态模型在解决视觉数学问题上的局限与潜力。研究涵盖6500题,分67概念5层次,评估指标包括知识与泛化不足等。GPT-4o表现最优,但仍存多步推理难题。研究提出知识概念增强策略以改善,为未来AI数学推理指明方向。论文见: https://arxiv.org/pdf/2407.01284
177 1
|
移动开发 前端开发 开发者
|
人工智能 搜索推荐 vr&ar
苹果手机iOS18最新升级:植入AI人工智能,国内百度文心一言,国外GPT4o来辅助
iOS 18亮点速览:AI强化的Siri、RCS安卓消息兼容、自定义主屏、辅助功能增强,VR进步,新隐私工具,包括锁定APP和眼动追踪。Passwords app保障安全,Apple Intelligence提升个性化体验。
373 1
IDEA统计项目代码量
IDEA统计项目代码量
544 0
|
XML 存储 安全
探索 doc 和 docx 文件格式的区别
探索 doc 和 docx 文件格式的区别
532 3
|
JSON Java 应用服务中间件
Maven集成Tomcat插件+远程热部署项目
插件和依赖的区别: 依赖:运行时开发时都需要用到的jar包,比如项目中需要一个Json的jar包,就要添加一个依赖,这个依赖在项目运行时也需要,因此在项目打包时需要把这些依赖也打包进项目里; 插件:在项目开的发时需要,但是在项目运行后就不再需要,因此在项目开发完成后不需要把插件打包进项目中,例如接下来演示的Tomcat插件就是用来部署Web项目的,部署成功
|
JSON Prometheus 监控
【2023】Prometheus-基于文件的服务发现
【2023】Prometheus-基于文件的服务发现
359 0