作者提供TensorFlow复数模型源码https://github.com/MRSRL/complex-networks-release
1 简介和创新点
MRI (Magnetic resonance imaging)核磁共振图像
利用复数神经网络代替实数神经网络实现核磁共振图像重建，以加快扫描时间，并确定各种有前途的复值激活函数的性能。
以往的处理复数是把实数和复数分为两条通道，但是这样做会丢弃数据的某些复数代数结构，并且在数据在整个网络中移动时并不一定要保持数据的相位信息。
当前解决图像重建的的神经网络有GAN、ADMM-Net、MoDL、U-Nets、AutoMap
复数的优越性
• 《Deep complex networks》通过使用复值卷积，减少了每个模型中的参数数量。这减少了网络占用的内存，可学习的参数数量和训练时间。
• 《Associative Long Short-Term Memory》中，提出了复数权重根在内存访问体系结构中更稳定且在数值上更有效。使网络具有更丰富的表示能力。
评价标准
2 模型
2.1 复数激活函数
2.2 系统模型
作者提出了两个模型作为对比实验，第一个是基于展开式优化的，该优化基于迭代软收缩算法。包括两个模块，一个是数据一致性模块和去噪模块。
- 数据一致性模块：使用MRI模型强制与物理测量的k空间样本保持数据一致性
- 去噪模块：使用残差结构块进行去噪输入图像以产生输出图像.除最后一个卷积层外，每个卷积层后都有一个ReLU和一个复数值激活函数
第二个是U-Net。该网络使用卷积和反卷积来捕获信息。每个橙色框都表示了一个多通道特征图。
- 红色箭头是复数卷积，每个卷积后跟一个ReLU激活函数
- 蓝色箭头2x2最大池化，步长为2
- 最后一层绿色箭头的是一维卷积，作者的画图有误
- 黑色箭头是copy
- 经过本人的不确定分析，网络的输入是复数值，输出是二维图片的值
3 模型参数
L1 损失函数
Adam优化器
学习率0.001
U-Net的Batch-size =3
Unrolled Network的Batch-size = 2
50000epoch
实现框架：Tensorflow
评估标准：NRMSE归一化均方根误差、峰值信噪比PSNR、结构相似性指数SSIM
NRMSE和PSNR是在复数值图像上评估的； 但是，仅在幅度图像上评估SSIM
4 实验分析
TensorFlow实现的复数工具包
https://github.com/MRSRL/complex-networks-release
4.1 激活函数分析
实验过程：
在展开网络中，实数网络的激活函数Relu，复数网络，对比了modRelU,CReLU,zReLu和cardioid，最佳激活函数CReLU
对于该实验，迭代次数和特征图的数量分别固定为4和256。 实值和复数网络被设计为具有几乎相同数量的参数。
实验结果：复数网络相对于实数网络能更好的保留相位信息，最佳激活函数时CReLu
4.2 网络宽度分析
实验过程：
在展开网络中,通过将迭代次数固定为4，同时改变每一层中的特征图的数量，来评估展开网络宽度对实数网络模型与复数网络模型的性能的影响
实验结果：同时保持每个模型的参数总数大致相同。 当使用复值卷积时，重构性能得到了显着提高。
- NRMSE：归一化均方根误差
- PSNR：峰值信噪比
- SSIM在: 结构相似性指数
4.3 网络深度分析
实验过程：
在展开网络中,通过训练实数网络和复数网络在每一层中进行2、4、8和12次迭代来改变网络的深度，分析两种网络的性能差异
实验结果：随着迭代次数的变化，特征图的数量是固定的，同时每个模型的参数总数保持大致相同。和实验类似的结果
4.4 网络结构分析
实验过程：
在U-Net网络上，使用复数搭建和实数搭建神经网络，分析在不同的结构上，复数神经网络是否有优势。
实验结果：通过分析图像，实值模型在相位图像的背景中引入了相位包裹错误，而复数网络模型和CS则没有。且复数网络的性能更佳。
4.5 实验结论
复值模型能够更准确地表示数据的复值性质。经过实验分析，复数框架能够轻松的适应其他网络架构，可以广泛应用到超声波，光学成像，雷达，语音和音乐领域
原因分析
- 通过在具有复值卷积层的模型中使用复值权重，可以使用更多特征图，以使参数数量与具有实值卷积层的模型中的参数数量相同。 这样可以提高重建精度
- 因为复值网络强制执行保留输入数据相位的结构，所以与实值网络的重构相位相比，复值网络的重构相位通常在视觉上更接近于地面实相(the phase of the ground truth)的相位。
5 疑问和思考
（1）网络模型的具体的输入输出，本人没有阅读明白，经过我的不确定分析，对于两个模型的理解如下
- 在展开模型中，数据一致性模块处理的复数信号到raw image生成的过程，然后再把带有噪声的图片放入ResNet 中去噪。神经网络实现的图片的去噪
- 在U-Net中，输入是复数值，输出是二维图片的数值
（2）提供的源码只是《DeepComplexNetwork》文献提供的源码的TensorFlow复现。对于基于ISTA算法的展开网络和U-Net还需要通过看其他文献了解这两个模型细节，U-Net模型来自《U-net: Convolutional networks for biomedical image segmentation》
