简介

冬至夜月圆，霜露点清银。枫叶落尽霜，寒风凛冽水。山河冰封路，长夜独酌愁。火炉照暖家，窗外雪花飞。小伙伴们好，我是微信公众号：小窗幽记机器学习的首席试药师：卖布洛芬的小男孩。上面这首诗是最近顶流ChatGPT模仿李白风格创作的，仅供欣赏。前文以CV领域中的resnet18模型为例综合评测各种推理加速方案，具体评测结果可以参考之前的小作文：模型推理加速系列 ｜ 06: 基于resnet18加速方案评测。今天这篇小作文尝试以NLP领域中的常用模型BERT为例(仅将输入文本进行encode)，综合评测包括「Pytorch、ONNX、JIT、TensorRT和OpenVino」在内这5种推理方案的性能。

「模型导出」

「导出 ONNX」

如何将Pytorch版BERT导出为ONNX格式可以参考之前的文章：模型推理加速系列｜04：BERT模型推理加速 TorchScript vs. ONNX。

「导出 TorchScript」

如何将Pytorch版BERT导出为TorchScript格式可以参考之前的文章：模型推理加速系列｜04：BERT模型推理加速 TorchScript vs. ONNX，更多关于TorchScript模型格式的介绍可以参考之前的文章：模型推理加速系列｜05：TorchScript模型格式简介及其使用。

「导出 TensorRT」

在TensorRT这部分依次评测「变长」和「定长」版(指文本输入长度上的限制)，所以在导出TensorRT模型格式的时候，导出支持变长和定长文本输入的两个版本。

导出输入文本「定长版」 TensorRT engine格式模型示例如下：

CUDA_VISIBLE_DEVICES=0 trtexec --onnx=/home/model_zoo/nlp/onnx/bert-base-chinese/bert_dynamic.onnx  --minShapes=input_ids:1x32,attention_mask:1x32,token_type_ids:1x32 --optShapes=input_ids:64x32,attention_mask:64x32,token_type_ids:64x32 --maxShapes=input_ids:128x32,attention_mask:128x32,token_type_ids:128x32 --saveEngine=/home/model_zoo/nlp/tensorrt/bert_static_32.engine


PS：

以上导出的模型在batch size维度上的动态的，但是只支持长度为32的输入文本。

导出输入文本「变长版」 TensorRT engine格式模型示例如下：

CUDA_VISIBLE_DEVICES=0 trtexec --onnx=/home/model_zoo/nlp/onnx/bert-base-chinese/bert_dynamic.onnx --minShapes=input_ids:1x8,attention_mask:1x8,token_type_ids:1x8 --optShapes=input_ids:64x32,attention_mask:64x32,token_type_ids:64x32 --maxShapes=input_ids:128x64,attention_mask:128x64,token_type_ids:128x64 --saveEngine=/home/model_zoo/nlp/tensorrt/bert_dynamic_max64.engine


「导出 OpenVino」

使用的镜像是openvino/ubuntu20_runtime:latest。先用之前Pytorch格式模型转为的ONNX格式模型，再将ONNX格式模型转为OpenVino所需要的格式。这里需要用到mo命令，安装方式如下：pip3 install openvino-dev[all]。将ONNX模型转为openvino的命令如下：

mo --input_model /home/model_zoo/nlp/onnx/bert-base-chinese/bert_dynamic.onnx --input "input_ids[-1 128],attention_mask[-1 128],token_type_ids[-1 128]" --output_dir /home/model_zoo/nlp/openvino/bert/ --data_type FP32


「评测结果」

「输入文本长度为 8」

「CPU：」

「GPU：」

「输入文本长度为 16」

「CPU：」

「GPU：」

TensorRT 模型是「定长输入」，如果使用变长版TensorRT，但是输入的文本长度设置为16。

「输入文本长度为 32」

「CPU：」

「GPU：」

「输入文本长度为 64」

「CPU：」

「GPU：」

结论

根据上述实验结果可以得出以下结论：

• 对于「CPU」，短文本和小batch size 场景，「ONNX」推理速度最快，OpenVnio次之。而在长文本和大batch size的场景，「OpenVino」推理速度最快
• 对于「OpenVino」，在短文本和小batch size场景，定长输入和变长输入性能「差别不大」。随着文本长度增加和batch size增大，「定长版OpenVino」显著优于变长版OpenVino
• 对于「GPU」，「定长版」TensorRT显著优于「变长版」TensorRT。但是，定长版在实际使用中可能会涉及对输入文本的padding操作，需要在具体使用场景中评测该部分的耗时。