Solr JVM&运维

简介: 假期重新把之前在新浪博客里面的文字梳理了下,搬到这里。这

1. GC的选择
 4core
8g memory 首选cmscms的各参数的调节需要观察。

2. swap
配置
 
性能优先,建议关掉。关掉的代价需要评估。关掉之后buffer/cache等变化需要观察!

3. newSize maxnewsize
尽量小 并且值相同,PermSize maxPermSize 值也相等,尽量小
4core
8g 1024m左右既可以

4.xms xmx
值相等,能小尽量小,节省内存给额外进程。单进程,不妨开大些
8g memory
分配jvm6g左右既可以

5.solr cache
的参数配置,务必谨慎
cache
参数只针对一个cache对象而说,而searcherhanlder层的cache无法控制上限,往往导致oom
fieldvaluecache
的配置和warm 对内存消耗、性能影响比较明显
filtecache docuementcache
明显与查询请求特征相关
如果请求量足够大,建议不配置cache,系统自身在 快的过程中 省出内存

6.
句柄追踪
 /usr/sbin/lsof | grep deleted
 solr
句柄发生点:索引同步、索引core切换

7.load
追踪
死循环导致load高,top shift+h; heap导出  由前者发现load高线程id,由后者发现那个方法不对劲
但是top不一定准确,不妨一试,最好dump出内存分析。参考文章
http://religiose.iteye.com/blog/1488806

索引查询导致:与内存、cache配置有关、数据总量是硬关联
在线全量、在线索引合并load也会增高
句柄导致load增高
swap
区大量使用
计算密集load增高,例如facetgroup的内存计算
8.
超时追踪
querylog
解析,提前超时log,按时间分类。超时点:切换core、增量点两处,以及复杂查询。

9.
所有参数都监控起来,包括diskmemorysolrcorequery超时等。

目录
相关文章
|
运维 索引
Solr JVM&运维
1. GC的选择  4core、8g memory 首选cms,cms的各参数的调节需要观察。 2. swap配置   性能优先,建议关掉。关掉的代价需要评估。关掉之后buffer/cache等变化需要观察! 3. newSize maxnewsize 尽量小 并且值相同,PermSize
3669 77
|
8月前
|
存储 缓存 Java
我们来说一说 JVM 的内存模型
我是小假 期待与你的下一次相遇 ~
561 5
|
8月前
|
存储 缓存 算法
深入理解JVM《JVM内存区域详解 - 世界的基石》
Java代码从编译到执行需经javac编译为.class字节码,再由JVM加载运行。JVM内存分为线程私有(程序计数器、虚拟机栈、本地方法栈)和线程共享(堆、方法区)区域,其中堆是GC主战场,方法区在JDK 8+演变为使用本地内存的元空间,直接内存则用于提升NIO性能,但可能引发OOM。
|
Arthas 存储 算法
深入理解JVM,包含字节码文件,内存结构,垃圾回收,类的声明周期,类加载器
JVM全称是Java Virtual Machine-Java虚拟机JVM作用:本质上是一个运行在计算机上的程序,职责是运行Java字节码文件,编译为机器码交由计算机运行类的生命周期概述:类的生命周期描述了一个类加载,使用,卸载的整个过类的生命周期阶段:类的声明周期主要分为五个阶段:加载->连接->初始化->使用->卸载,其中连接中分为三个小阶段验证->准备->解析类加载器的定义:JVM提供类加载器给Java程序去获取类和接口字节码数据类加载器的作用:类加载器接受字节码文件。
1039 55
|
Arthas 监控 Java
Arthas memory(查看 JVM 内存信息)
Arthas memory(查看 JVM 内存信息)
1046 6
|
缓存 监控 算法
JVM简介—2.垃圾回收器和内存分配策略
本文介绍了Java垃圾回收机制的多个方面,包括垃圾回收概述、对象存活判断、引用类型介绍、垃圾收集算法、垃圾收集器设计、具体垃圾回收器详情、Stop The World现象、内存分配与回收策略、新生代配置演示、内存泄漏和溢出问题以及JDK提供的相关工具。
JVM简介—2.垃圾回收器和内存分配策略
|
存储 缓存 算法
JVM简介—1.Java内存区域
本文详细介绍了Java虚拟机运行时数据区的各个方面,包括其定义、类型(如程序计数器、Java虚拟机栈、本地方法栈、Java堆、方法区和直接内存)及其作用。文中还探讨了各版本内存区域的变化、直接内存的使用、从线程角度分析Java内存区域、堆与栈的区别、对象创建步骤、对象内存布局及访问定位,并通过实例说明了常见内存溢出问题的原因和表现形式。这些内容帮助开发者深入理解Java内存管理机制,优化应用程序性能并解决潜在的内存问题。
775 29
JVM简介—1.Java内存区域
|
存储 设计模式 监控
如何快速定位并优化CPU 与 JVM 内存性能瓶颈?
如何快速定位并优化CPU 与 JVM 内存性能瓶颈?
403 0
如何快速定位并优化CPU 与 JVM 内存性能瓶颈?
|
存储 算法 Java
JVM: 内存、类与垃圾
分代收集算法将内存分为新生代和老年代,分别使用不同的垃圾回收算法。新生代对象使用复制算法,老年代对象使用标记-清除或标记-整理算法。
256 6
|
存储 设计模式 监控
快速定位并优化CPU 与 JVM 内存性能瓶颈
本文介绍了 Java 应用常见的 CPU & JVM 内存热点原因及优化思路。
1367 166