我用的是高德的3D地图，用2D地图无此问题。
从答案来看，大概是SurfactView与Fragment之间的问题。虽然我用的是高德，不过这方法估计对百度地图也有效。
解决方法是，在使用到地图的Activity中的onCreate中添加以下代码：
getWindow().setFormat(PixelFormat.TRANSLUCENT);
另外有群友提到一种方法，也发一下吧：
最佳做法是在activity 的 root view 里面 加入一个 长宽都是0px的 不可见 SurfaceView元素
