带你读《2022技术人的百宝黑皮书》——MNN 2.0 发布 ——移动端推理引擎到通用深度学习引擎(6)

带你读《2022技术人的百宝黑皮书》——MNN 2.0 发布 ——移动端推理引擎到通用深度学习引擎(5) https://developer.aliyun.com/article/1248034?groupCode=taobaotech

整体架构

MNN可以分为主体（推理引擎）和工具两大部分。

1.主体：亦即推理引擎，负责AI模型（张量计算图）的加载与执行，可分为调度（预推理）与执行（推理）两层。

2.工具

MNN-Converter：模型转换工具，由Frontends和GraphOptimize构成。前者负责支持不同的训练框架，

MNN当前支持Tensorflow(Lite)、Caffe、ONNX(PyTorch/MXNet的模型可先转为ONNX模型再转到MNN)和Torchscripts；后者通过算子融合、算子替代、布局调整等方式优化图，一般离线运行。

MNN-Compress:模型压缩工具，在一定的精度误差许可下，对模型进行压缩，减少模型体积，提升运行性能。

MNN-Express ：支持带控制流的模型运行，支持调用 MNN 的算子进行自定义的计算。

MNN-CV ：类似 OpenCV ，但核心计算功能基于 MNN 实现的图像处理算法库

MNN-Train ：MNN 训练模块，支持各平台训练

带你读《2022技术人的百宝黑皮书》——MNN 2.0 发布 ——移动端推理引擎到通用深度学习引擎(7) https://developer.aliyun.com/article/1248031?groupCode=taobaotech