Solr JVM&运维

简介: 假期重新把之前在新浪博客里面的文字梳理了下,搬到这里。这

1. GC的选择
 4core
8g memory 首选cmscms的各参数的调节需要观察。

2. swap
配置
 
性能优先,建议关掉。关掉的代价需要评估。关掉之后buffer/cache等变化需要观察!

3. newSize maxnewsize
尽量小 并且值相同,PermSize maxPermSize 值也相等,尽量小
4core
8g 1024m左右既可以

4.xms xmx
值相等,能小尽量小,节省内存给额外进程。单进程,不妨开大些
8g memory
分配jvm6g左右既可以

5.solr cache
的参数配置,务必谨慎
cache
参数只针对一个cache对象而说,而searcherhanlder层的cache无法控制上限,往往导致oom
fieldvaluecache
的配置和warm 对内存消耗、性能影响比较明显
filtecache docuementcache
明显与查询请求特征相关
如果请求量足够大,建议不配置cache,系统自身在 快的过程中 省出内存

6.
句柄追踪
 /usr/sbin/lsof | grep deleted
 solr
句柄发生点:索引同步、索引core切换

7.load
追踪
死循环导致load高,top shift+h; heap导出  由前者发现load高线程id,由后者发现那个方法不对劲
但是top不一定准确,不妨一试,最好dump出内存分析。参考文章
http://religiose.iteye.com/blog/1488806

索引查询导致:与内存、cache配置有关、数据总量是硬关联
在线全量、在线索引合并load也会增高
句柄导致load增高
swap
区大量使用
计算密集load增高,例如facetgroup的内存计算
8.
超时追踪
querylog
解析,提前超时log,按时间分类。超时点:切换core、增量点两处,以及复杂查询。

9.
所有参数都监控起来,包括diskmemorysolrcorequery超时等。

目录
相关文章
|
运维 索引
Solr JVM&运维
1. GC的选择  4core、8g memory 首选cms,cms的各参数的调节需要观察。 2. swap配置   性能优先,建议关掉。关掉的代价需要评估。关掉之后buffer/cache等变化需要观察! 3. newSize maxnewsize 尽量小 并且值相同,PermSize
3442 6
|
2月前
|
缓存 Prometheus 监控
Elasticsearch集群JVM调优设置合适的堆内存大小
Elasticsearch集群JVM调优设置合适的堆内存大小
421 1
|
3月前
|
存储 安全 Java
jvm 锁的 膨胀过程?锁内存怎么变化的
【10月更文挑战第3天】在Java虚拟机(JVM)中,`synchronized`关键字用于实现同步,确保多个线程在访问共享资源时的一致性和线程安全。JVM对`synchronized`进行了优化,以适应不同的竞争场景,这种优化主要体现在锁的膨胀过程,即从偏向锁到轻量级锁,再到重量级锁的转变。下面我们将详细介绍这一过程以及锁在内存中的变化。
49 4
|
14天前
|
存储 Java 程序员
【JVM】——JVM运行机制、类加载机制、内存划分
JVM运行机制,堆栈,程序计数器,元数据区,JVM加载机制,双亲委派模型
|
1月前
|
存储 监控 算法
深入探索Java虚拟机(JVM)的内存管理机制
本文旨在为读者提供对Java虚拟机(JVM)内存管理机制的深入理解。通过详细解析JVM的内存结构、垃圾回收算法以及性能优化策略,本文不仅揭示了Java程序高效运行背后的原理,还为开发者提供了优化应用程序性能的实用技巧。不同于常规摘要仅概述文章大意,本文摘要将简要介绍JVM内存管理的关键点,为读者提供一个清晰的学习路线图。
|
2月前
|
Java
JVM内存参数
-Xmx[]:堆空间最大内存 -Xms[]:堆空间最小内存,一般设置成跟堆空间最大内存一样的 -Xmn[]:新生代的最大内存 -xx[use 垃圾回收器名称]:指定垃圾回收器 -xss:设置单个线程栈大小 一般设堆空间为最大可用物理地址的百分之80
|
2月前
|
Java
JVM运行时数据区(内存结构)
1)虚拟机栈:每次调用方法都会在虚拟机栈中产生一个栈帧,每个栈帧中都有方法的参数、局部变量、方法出口等信息,方法执行完毕后释放栈帧 (2)本地方法栈:为native修饰的本地方法提供的空间,在HotSpot中与虚拟机合二为一 (3)程序计数器:保存指令执行的地址,方便线程切回后能继续执行代码
27 3
|
2月前
|
存储 缓存 监控
Elasticsearch集群JVM调优堆外内存
Elasticsearch集群JVM调优堆外内存
59 1
|
2月前
|
Arthas 监控 Java
JVM进阶调优系列(9)大厂面试官:内存溢出几种?能否现场演示一下?| 面试就那点事
本文介绍了JVM内存溢出(OOM)的四种类型:堆内存、栈内存、元数据区和直接内存溢出。每种类型通过示例代码演示了如何触发OOM,并分析了其原因。文章还提供了如何使用JVM命令工具(如jmap、jhat、GCeasy、Arthas等)分析和定位内存溢出问题的方法。最后,强调了合理设置JVM参数和及时回收内存的重要性。
|
2月前
|
Java Linux Windows
JVM内存
首先JVM内存限制于实际的最大物理内存,假设物理内存无限大的话,JVM内存的最大值跟操作系统有很大的关系。简单的说就32位处理器虽然可控内存空间有4GB,但是具体的操作系统会给一个限制,这个限制一般是2GB-3GB(一般来说Windows系统下为1.5G-2G,Linux系统下为2G-3G),而64bit以上的处理器就不会有限制。
27 1
下一篇
开通oss服务