开发者社区 > ModelScope模型即服务 > 自然语言处理 > 正文

modelscope-funasr微调时数据量大 当一个batch处理不完的时候 会有报错怎么解决?

modelscope-funasr微调时 数据量大了 当一个batch处理不完的时候 会有这个报错,怎么解决?765e3754dbf63fde70832bf13ff1e862.png
我跑的是 iic/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-online 这个模型

展开
收起
三分钟热度的鱼 2024-03-06 20:44:07 22 0
2 条回答
写回答
取消 提交回答
  • 阿里云大降价~

    当ModelScope-FunASR在微调过程中遇到数据量过大,导致一个batch处理不完时报错的情况,可以考虑以下方法来解决:

    1. 调整Batch Size:减小batch size可以减少每次迭代处理的数据量,从而避免超出内存限制。
    2. 增加内存:如果硬件条件允许,可以尝试增加GPU或CPU的内存容量,以便处理更大的batch。
    3. 优化数据预处理:检查数据预处理流程,确保没有不必要的复杂操作,减少内存占用。
    4. 使用更小的模型:如果资源有限,可以考虑使用更小的模型进行微调,以减少内存和计算需求。
    5. 分布式训练:如果可行,可以使用分布式训练方法,将数据分布到多个节点上进行处理。
    6. 检查代码错误:确保代码中没有导致内存泄露或者不合理内存分配的错误。
    7. 社区支持:如果以上方法都无法解决问题,可以在ModelScope-FunASR的GitHub仓库提交issues,描述您遇到的问题和相关环境信息,等待官方或其他用户的回复和指导。

    总的来说,解决这类问题需要根据具体情况进行调整和优化,可能需要一些实验和尝试才能找到最佳解决方案。

    2024-03-07 17:45:09
    赞同 展开评论 打赏
  • 刚才修复了,你git pull一下。此回答整理自钉群“modelscope-funasr社区交流”

    2024-03-06 20:49:12
    赞同 展开评论 打赏

包含命名实体识别、文本分类、分词、关系抽取、问答、推理、文本摘要、情感分析、机器翻译等多个领域

热门讨论

热门文章

相关电子书

更多
视觉AI能力的开放现状及ModelScope实战 立即下载
ModelScope助力语音AI模型创新与应用 立即下载
低代码开发师(初级)实战教程 立即下载