1.ONNXRuntime简介
ONNX（开放神经网络交换格式）是一种跨框架的模型表示标准。ONNXRuntime（ORT）是微软开源的推理引擎，支持CPU、GPU、FPGA等多种后端，完全由C++实现。它的设计理念是高性能、低延迟、可扩展。许多公司（如微软、英伟达、AMD）都使用ORT部署模型。
参考：https://bgnno.cn/category/original.html
2.核心架构：执行提供者（ExecutionProvider）
ORT通过抽象ExecutionProvider（EP）接口，接入不同的硬件加速库。例如：
CPUEP：使用Eigen或MKL-DNN优化算子。
CUDAEP：调用cuDNN、TensorRT。
DirectMLEP：利用DirectX12在WindowsGPU推理。
OpenVINOEP：适配Intel的VPU、集成显卡。
开发者可以在C++代码中创建Ort::SessionOptions，添加Ort::ThrowOnError，并注册想要的EP。ORT会自动将模型中的算子分配给合适的EP，实现异构计算。
3.内存管理与零拷贝
ORT使用自定义内存分配器（OrtAllocator），支持arena预分配，减少频繁malloc。输入输出张量可以预分配内存，避免推理过程中的分配开销。对于GPU推理，ORT支持CUDA固定内存和异步拷贝，将数据从CPU传输到GPU与计算重叠。
4.自定义算子注册
当模型包含非标准算子时，可以用C++实现自定义算子并注册到ORT。需要继承OpKernel，实现Compute方法，并用ORT_API宏导出。注册后，ORT在加载模型时会识别该算子并调用你的C++实现。这允许集成特殊的硬核加速逻辑。
5.案例：实时人脸识别服务
某安防公司使用ONNXRuntime部署人脸识别模型（ResNet-50）。需求：每帧图像（1080p）需在30ms内完成推理。解决方案：
使用CUDAEP和TensorRT后端（通过TensorRTExecutionProvider）。
预处理（缩放、归一化）使用CUDA核函数，直接在GPU内存完成，避免CPU-GPU拷贝。
输入输出张量使用固定内存（cudaHostAlloc），并通过Ort::MemoryInfo指定设备位置。
多线程推理：使用线程池并行处理多个视频流。
实测单张图像推理时间从原始的CPU版本200ms降至12ms，满足实时要求。
6.与其他推理框架对比
TensorFlowServing：功能丰富但较重。
PyTorchJIT：灵活但部署不如ORT轻量。
ONNXRuntime：部署友好，性能接近硬件极限，C++接口简洁。
7.总结
C++是ONNXRuntime实现高性能推理的基础。无论是CPU还是GPU，ORT通过执行提供者抽象和内存优化，让模型部署变得高效且跨平台。对于需要低延迟、高吞吐的AI应用，C++开发者应该掌握ONNXRuntime的使用与扩展。
参考：https://bgnno.cn
