MNN量化工具使用
编译
cd MNN
mkdir build
cd build
cmake-DMNN_BUILD_QUANTOOLS=ON..
make-j4
使用系统开发流程:MrsFu123
./quantized.out origin.mnn quantized.mnn ModelConfig.json
1
也可以用python安装mnn
pip install mnn
mnnquant origin.mnn quantized.mnn ModelConfig.json
ModelConfig.json配置格式
{
"format":"GRAY",
"mean":[
0
],
"normal":[
0.00784314
],
"width":28,
"height":28,
"path":"/mldb/dataset/MNIST/test_data/8",
"used_image_num":100,
"feature_quantize_method":"KL",
"weight_quantize_method":"MAX_ABS"
}
format
图片统一按RGBA读取,然后转换到format指定格式,可选:“RGB”,“BGR”,“RGBA”,“GRAY”。
mean,normal
模型预处理需要的mean,normal,数据按此公式填写:
width,height
模型输入的宽高
path
存放校正特征量化系数的图片目录
used_image_num
用于指定使用上述目录下多少张图片进行校正,默认使用path下全部图片
注意:请确保图片经过上述步骤处理之后的数据是输入到模型input接口的数据
feature_quantize_method
指定计算特征量化系数的方法,可选:
“KL”:使用KL散度进行特征量化系数的校正,一般需要100~1000张图片
“ADMM”:使用ADMM(Alternating Direction Method of Multipliers)方法进行特征量化系数的校正,一般需要一个batch的数据
默认:“KL”
weight_quantize_method
指定权值量化方法,可选:
“MAX_ABS”:使用权值的绝对值的最大值进行对称量化
“ADMM”:使用ADMM方法进行权值量化
默认:“MAX_ABS”