请问modelscope-funasr这个可能是哪里出了问题啊?

我做cam++模型export的时候,int8量化之后onnx模型15Mb,未量化后的onnx模型35Mb,
推理时内存占用情况:未量化模型占用81Mb,量化后模型占用67Mb
推理速度情况(多次反复测试):未量化模型占用108ms,量化后模型占用170ms,量化后速度反而更慢了!
请问modelscope-funasr这个可能是哪里出了问题啊?from funasr import AutoModel
import torch
import onnx
from onnxruntime.quantization import QuantType, quantize_dynamic
import os
model = AutoModel(model="damo/speech_campplus_sv_zh-cn_16k-common",
model_revision="v2.0.2",
device="cpu"
)

dummy_input = torch.rand(1, 553,80)
quant=True
model=model.model
model_script = model #torch.jit.trace(model)
model_path = "camplus.onnx"
input_names=["input"]
output_names=["output"]
verbose=True
torch.onnx.export(
model_script,
dummy_input,
model_path,
verbose=verbose,
opset_version=14,
input_names=input_names,
output_names=output_names,
dynamic_axes={'input': [0, 1]}
)

quant

if quant:
quant_model_path = "camplus_quant.onnx"
if not os.path.exists(quant_model_path):
onnx_model = onnx.load(model_path)
quantize_dynamic(
model_input=model_path,
model_output=quant_model_path,
weight_type=QuantType.QUInt8,
)
print("export Done!") 这是我的转换代码

展开
收起
三分钟热度的鱼 2024-03-20 15:51:09 117 分享 版权
1 条回答
写回答
取消 提交回答
  • 阿里云大降价~

    根据您提供的信息,ModelScope-Funasr在量化过程中出现了一些问题。以下是一些可能的原因:

    1. 量化算法问题:量化算法可能会导致模型的精度损失,从而影响推理速度和内存占用。您可以尝试使用不同的量化算法或者调整量化参数来改善结果。

    2. 模型结构问题:某些模型结构可能不适合进行量化,例如包含大量非线性激活函数的模型。这可能导致量化后的模型性能下降。

    3. 硬件平台问题:不同的硬件平台对量化的支持程度不同,可能会影响量化后模型的性能。您可以尝试在其他硬件平台上测试量化后的模型,以确定是否存在硬件相关的问题。

    4. 量化工具链问题:量化工具链可能存在bug或者不完善的地方,导致量化后的模型出现问题。您可以尝试使用其他量化工具链或者更新当前工具链的版本。

    为了解决这个问题,您可以尝试以下步骤:

    1. 检查您的代码中是否有正确的量化配置设置,并确保这些设置是在加载模型之前进行的。

    2. 尝试使用不同的量化算法或者调整量化参数来改善结果。

    3. 检查模型的结构是否适合进行量化,如果不适合,可以考虑修改模型结构或者使用其他模型。

    4. 在不同的硬件平台上测试量化后的模型,以确定是否存在硬件相关的问题。

    5. 如果问题依旧存在,可以考虑联系ModelScope-Funasr的社区或者技术支持,寻求更具体的帮助。

    2024-03-27 19:07:40
    赞同 展开评论

包含命名实体识别、文本分类、分词、关系抽取、问答、推理、文本摘要、情感分析、机器翻译等多个领域

热门讨论

热门文章

还有其他疑问?
咨询AI助理