Pre
当你的应用没有一套完善的监控告警系统，线上故障了 ，总是很被动，但是还得要定位问题 ，奈何手里无利器 ，没办法只能硬上了，虽然原始，好在有效~
所以原生的命令你需要特别熟悉，故障的时间很宝贵，所以留给我们翻资料的时间并不多 ~
如果你还不是很了解JVM提供的诊断命令， 戳这里–> JVM-10虚拟机性能监控与故障处理工具之【JDK的命令行】
常见故障
OOM
OOM了 ， 但是你没有配置
-XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/opt/dump/heapdump.hprof -XX:OnOutOfMemoryError=/opt/restart.sh
重要的参数
-XX:+HeapDumpOnOutOfMemoryError ： 表示当JVM发生OOM时，自动生成DUMP文件 最重要的参数，剩余两个参数可选
-XX:HeapDumpPath ： 表示生成DUMP文件的路径， 可以指定文件名称， -XX:HeapDumpPath=${目录}/java_heapdump.hprof。若不指定文件名，默认为：java_<pid>_<date>_<time>_heapDump.hprof
-XX:OnOutOfMemoryError ： 表示OOM时 需要触发的脚本，比如 重启动作，发送告警等等 用户自定义
或者GC很厉害，你怀疑有内存泄漏的地方 要看堆信息
那你需要谁呢？
- jmap Java 内存映射工具 + jhat 虚拟机堆转储快照分析工具
- jmap Java 内存映射工具 + MAT (推荐)
jmap Java 内存映射工具
概述
语法及使用
Usage: jmap [option] <pid> (to connect to running process) jmap [option] <executable <core> (to connect to a core file) jmap [option] [server_id@]<remote server IP or hostname> (to connect to remote debug server) where <option> is one of: <none> to print same info as Solaris pmap -heap to print java heap summary -histo[:live] to print histogram of java object heap; if the "live" suboption is specified, only count live objects -clstats to print class loader statistics -finalizerinfo to print information on objects awaiting finalization -dump:<dump-options> to dump java heap in hprof binary format dump-options: live dump only live objects; if not specified, all objects in the heap are dumped. format=b binary format file=<file> dump heap to <file> Example: jmap -dump:live,format=b,file=heap.bin <pid> -F force. Use with -dump:<dump-options> <pid> or -histo to force a heap dump or histogram when <pid> does not respond. The "live" suboption is not supported in this mode. -h | -help to print this help message -J<flag> to pass <flag> directly to the runtime system
jmap的主要选项
使用举例， 对pid=12888的进程输出dump信息
E:\Program Files\Java\jdk1.8.0_161\bin>jmap -dump:format=b,file=test.bin 12888 Dumping heap to E:\Program Files\Java\jdk1.8.0_161\bin\test.bin ... Heap dump file created
jhat 虚拟机堆转储快照分析工具
概述
语法及使用
Usage: jhat [-stack <bool>] [-refs <bool>] [-port <port>] [-baseline <file>] [-debug <int>] [-version] [-h|-help] <file> -J<flag> Pass <flag> directly to the runtime system. For example, -J-mx512m to use a maximum heap size of 512MB -stack false: Turn off tracking object allocation call stack. -refs false: Turn off tracking of references to objects -port <port>: Set the port for the HTTP server. Defaults to 7000 -exclude <file>: Specify a file that lists data members that should be excluded from the reachableFrom query. -baseline <file>: Specify a baseline object dump. Objects in both heap dumps with the same ID and same class will be marked as not being "new". -debug <int>: Set debug level. 0: No debug output 1: Debug hprof file parsing 2: Debug hprof file parsing, no server -version Report version number -h|-help Print this help and exit <file> The file to read For a dump file that contains multiple heap dumps, you may specify which dump in the file by appending "#<number>" to the file name, i.e. "foo.hprof#3". All boolean options default to "true"
用法举例
E:\Program Files\Java\jdk1.8.0_161\bin>jmap -dump:format=b,file=test.bin 12888 Dumping heap to E:\Program Files\Java\jdk1.8.0_161\bin\test.bin ... File exists E:\Program Files\Java\jdk1.8.0_161\bin>jhat test.bin Reading from test.bin... Dump file created Mon Aug 06 20:49:25 CST 2018 Snapshot read, resolving... Resolving 244224 objects... Chasing references, expect 48 dots................................................ Eliminating duplicate references................................................ Snapshot resolved. Started HTTP server on port 7000 Server is ready.
浏览器输入 http://localhost:7000/
MAT
jmap导出的堆内存信息，如果有MAT， 更方便直观 ，推荐
CPU居高不下
传统步骤
top -c ( -c 显示整个命令行而不只是显示命令名 ) ，查看占用cpu的进程
shift+p 按照CPU消耗大小 给进程排序， 找到对应的PID 【P 根据CPU使用百分比大小进行排序】
top -Hp <PID> 具体占用cpu利用率最高的线程号tid ，shift+p 按照CPU消耗大小【H 线程模式 】
print "%\n" tid 【将获取到的线程号转换成16进制】, 用于导出的线程堆栈中根据该关键字查到对应的线程信息 （或者 printf "%x\n" tid）
jstack -l <PID> >001.log 多执行几次 【-l 附带输出锁的信息】
去log中取查找 第四步中转换出来的16进制的内容,看看相应的代码
总结下 ，top 找到 占用CPU最高的 PID， 然后使用top的H参数 线程模式 ，查找到最占用CPU的 TID ， 这个tid 是十进制的， jstack导出来的tid是16进制，因此需要转成16进制 ，然后多执行几次jstack , 如果每次都有这个玩意，基本没跑了
附送一篇 Java - 死锁 Dead Lock 定位分析
jstack Java堆栈跟踪工具
概述
语法及使用
Usage: jstack [-l] <pid> (to connect to running process) jstack -F [-m] [-l] <pid> (to connect to a hung process) jstack [-m] [-l] <executable> <core> (to connect to a core file) jstack [-m] [-l] [server_id@]<remote server IP or hostname> (to connect to a remote debug server) Options: -F to force a thread dump. Use when jstack <pid> does not respond (process is hung) -m to print both java and native frames (mixed mode) -l long listing. Prints additional information about locks -h or -help to print this help message
jstack的主要选项
用法举例
E:\Program Files\Java\jdk1.8.0_161\bin>jstack -l 12888 2018-08-06 21:01:10 Full thread dump Java HotSpot(TM) 64-Bit Server VM (24.51-b03 mixed mode): "DestroyJavaVM" prio=6 tid=0x000000000e1ab800 nid=0x2f80 waiting on condition [0x0000000000000000] java.lang.Thread.State: RUNNABLE Locked ownable synchronizers: - None "DefaultQuartzScheduler_QuartzSchedulerThread" prio=6 tid=0x000000000e1a9800 nid=0xb5c in Object.wait() [0x000000000f59f000] java.lang.Thread.State: TIMED_WAITING (on object monitor) at java.lang.Object.wait(Native Method) at org.quartz.core.QuartzSchedulerThread.run(QuartzSchedulerThread.java:410) - locked <0x0000000762395018> (a java.lang.Object) Locked ownable synchronizers: - None ...... ....... ..........
线上分析工具
高阶工具 Arthas
https://alibaba.github.io/arthas/arthas-tutorials?language=cn
Arthas 是Alibaba开源的Java诊断工具，深受开发者喜爱。
当你遇到以下类似问题而束手无策时，Arthas可以帮助你解决：
这个类从哪个 jar 包加载的？为什么会报各种类相关的 Exception？
我改的代码为什么没有执行到？难道是我没 commit？分支搞错了？
遇到问题无法在线上 debug，难道只能通过加日志再重新发布吗？
线上遇到某个用户的数据处理有问题，但线上同样无法 debug，线下无法重现！
是否有一个全局视角来查看系统的运行状况？
有什么办法可以监控到JVM的实时运行状态？
怎么快速定位应用的热点，生成火焰图？
Arthas支持JDK 6+，支持Linux/Mac/Winodws，采用命令行交互模式，同时提供丰富的 Tab 自动补全功能，进一步方便进行问题的定位和诊断。
后续单独开篇介绍Arthas 这个牛逼的工具的使用及原理。
