问题出现
5月31日5-2发布后,钉钉业务报警群里收到监控报警,ngprod环境出现fullgc报警,如下
分析
通过查询线上log发现,是由于DingTalkProcessDefinition.toString引起的。
DingTalkProcessDefinition.toString代码如下,是通过工具类把对象的属性值打印出来。本次迭代在DingTalkProcessDefinition新增了一个属性List nodes,ProcessNode数据结构如下图,并且ProcessNode的toString方法和DingTalkProcessDefinition的toString方法是一样的,这样就导致在
DingTalkProcessDefinition.toString的时候,由于ProcessNode的存在,导致占用的内存指数级的爆炸增长。
注:web-pro里存在LogAspect这个aop,会打印方法的入参出参和执行耗时,入参的打印会调用参数的toString,如果太长,会截取。这个问题就是在打印方法耗时时调用了DingTalkProcessDefinition和ProcessNode的toString方法。
解决方案
首先我重写了DingTalkProcessDefinition和ProcessNode的toString方法,只打印其中主要的属性值,至此其实fullgc问题已经解决,第二天和B讨论了这个需求的实现方式,修改了实现方案,
DingTalkProcessDefinition不需要使用ProcessNode这个对象。
总结
在使用树形或者更复杂的数据结构时,需要注意可能造成的性能问题,尤其是注意对应的toString方法。