精度对齐说明
精度对齐旨在确保模型在训练一定轮次后，其损失（LOSS）或评分能够与原硬件训练的结果基本相符。
精度对齐标准
下图所示为在原硬件GPU上的训练精度：
迁移到NPU上后要求与GPU训练精度相差在千分之五左右，若精度误差过大则需要通过前向、反向对齐操作定位问题算子。
精度对齐思路
一旦精度出现偏差，首先确认环境变量配置（例如，NPU私有格式环境变量是否关闭export FLAGS_npu_storage_format=0）、输入数据是否一致，如以上两项一致，则极有可能是算子的问题。
常用的问题算子定位方法是分模块对齐，在单模块内用二分法逐步缩小排查范围，直至确定最小问题单元。
前向对齐
前向对齐时可先进行单步对齐，再做多步验证。通常而言，单步对齐要求误差在百分之五以内；而多步验证则要求平均相对误差或平均绝对误差小于百分之二。
前向计算结果可在模型侧代码中打印输出。对比时逐模块进行，若模块结果差异大，采用二分法逐步收缩排查模块内部，直至定位问题算子。
模型结构分析
YAML 配置文件中的 Architecture 部分定义了模型的整体结构。
Architecture:
model_type: rec
algorithm: SVTR_HGNet
Transform: null
Backbone:
name: PPHGNet_small
Head:
name: MultiHead
关键信息说明：
- "model_type: rec"：指定模型的类型为识别（recognition）任务，在 OCR 场景中，通常分为检测（detection）和识别两个主要任务，这里明确该模型用于文字识别。
- "algorithm: SVTR_HGNet"：指定使用的算法为 SVTR_HGNet。SVTR（Scene Text Visual Recognition）是一种用于场景文本识别的模型架构。
- "Backbone"：模型的骨干网络模块，主要负责从输入数据中提取特征。
- "name: PPHGNet_small"：指定骨干网络使用 PPHGNet_small 模型。PPHGNet 是 PaddlePaddle 团队提出的一种轻量级骨干网络，small 表示使用其小型版本，通常具有较少的参数和较低的计算量。
- "Head"：模型的头部网络模块，用于根据骨干网络提取的特征进行具体的任务预测。
- "name: MultiHead"：表示使用多头部网络结构。
模块代码查找
根据模型结构中各个模块的名称查找对应模块的代码实现：
# 进入模型结构代码目录
cd paddleOCR/ppocr/modeling
# 根据模块名称查找对应代码实现
# Backbones模块名称为PPHGNet_small，则在./backbones目录下搜索：
grep -rn "PPHGNet_small" ./backbones/
# Head模块名称为MultiHead，则在./heads目录下搜索：
grep -rn "MultiHead" ./heads/
模块结果打印
找到各个模块代码后，对各模块的计算结果进行打印输出，可以分别打印平均值，最大最小值，形状和数据类型。
本节以Head模块为例，MultiHead代码实现在rec_multi_head.py文件中，其中forward方法实现如下：
def forward(self, x, targets=None):
if self.use_pool:
x = self.pool(
x.reshape([0, 3, -1, self.in_channels]).transpose([0, 3, 1, 2])
)
ctc_encoder = self.ctc_encoder(x)
ctc_out = self.ctc_head(ctc_encoder, targets)
head_out = dict()
head_out["ctc"] = ctc_out
head_out["ctc_neck"] = ctc_encoder
# eval mode
if not self.training:
return ctc_out
if self.gtc_head == "sar":
sar_out = self.sar_head(x, targets[1:])
head_out["sar"] = sar_out
else:
gtc_out = self.gtc_head(self.before_gtc(x), targets[1:])
head_out["gtc"] = gtc_out
return head_out
在"return head_out"语句之前，添加如下代码段：
print("head_out['ctc']")
print("平均值:", head_out["ctc"].mean())
print("最小值:", head_out["ctc"].min())
print("最大值:", head_out["ctc"].max())
print("形状:", head_out["ctc"].shape)
print("数据类型:", head_out["ctc"].dtype)
print("head_out['ctc_neck']")
print("平均值:", head_out["ctc_neck"].mean())
print("最小值:", head_out["ctc_neck"].min())
print("最大值:", head_out["ctc_neck"].max())
print("形状:", head_out["ctc_neck"].shape)
print("数据类型:", head_out["ctc_neck"].dtype)
print("head_out['gtc']")
print("平均值:", head_out["gtc"].mean())
print("最小值:", head_out["gtc"].min())
print("最大值:", head_out["gtc"].max())
print("形状:", head_out["gtc"].shape)
print("数据类型:", head_out["gtc"].dtype)
前向输出对比
添加打印代码后，执行以下命令行，分别开启 NPU 与 CPU（本文仅以 CPU 为例，实际需与 GPU 输出对比）上的训练。
- NPU：
python -m paddle.distributed.launch --devices 0,1,2,3,4,5,6,7 tools/train.py -c PP-OCRv4_server_rec_ic15_data.yaml -o Global.use_gpu=False Global.use_npu=True > ocr_npu.log 2>&1
- CPU:
python tools/train.py -c PP-OCRv4_server_rec_ic15_data.yaml -o Global.use_gpu=False -o Global.use_cpu=True > ocr_cpu.log 2>&1
对比结果如下：
合格标准：平均值的绝对误差或者相对误差在百分之一以内。
反向对齐
固定输入和权重，采用相同配置，在 GPU 和 NPU 上对比训练一步的 loss 和梯度。在前向对齐的情况下，若梯度不一致，在 loss.backward() 后用 tensor.grad 获取梯度值，再通过二分法逐步缩小范围查找差异，定位无法与 GPU 梯度对齐的 API 或操作。
反向代码查找
在模型训练脚本中，找到训练入口定位到反向代码，步骤如下：
- 在tools/train.py中搜索关键词program.train，进入program.py文件；
- 在训练循环中找到和scaled_avg_loss.backward()或avg_loss.backward()，如下图所示：
梯度值打印
在avg_loss.backward()方法之后，使用tensor.grad获取梯度值，随后打印出梯度值的最大最小和平均值，代码如下：
反向结果对比
添加打印代码后，执行以下命令行，分别开启 NPU 与 CPU（本文仅以 CPU 为例，实际需与 GPU 输出对比）上的训练。
NPU：
python -m paddle.distributed.launch --devices 0,1,2,3,4,5,6,7 tools/train.py -c PP-OCRv4_server_rec_ic15_data.yaml -o Global.use_gpu=False Global.use_npu=True > ocr_npu.log 2>&1
CPU:
python tools/train.py -c PP-OCRv4_server_rec_ic15_data.yaml -o Global.use_gpu=False -o Global.use_cpu=True > ocr_cpu.log 2>&1
对比结果如下：
合格标准：平均值的绝对误差或者相对误差在百分之一以内。
其它可能精度问题
私有格式问题
私有格式常出现问题，目前默认关闭，确认是否关闭：
export FLAGS_npu_storage_format=0
梯度消失/爆炸
确认是否存在梯度消失/梯度爆炸问题，尝试加上梯度裁剪等策略。
特殊shape
有些偶现问题常见与出现在特殊的shape，如0维Tensor，需要特别注意。
多模型场景
在同时对多个模型进行调优时，常常会出现大部分模型能够实现精度对齐，而个别模型却出现异常的情况。此时，可以通过对不同算子进行筛查，找出可疑算子，最终通过将可疑算子列入黑名单的方式进行排查，以解决精度问题。
