开发者社区 > ModelScope模型即服务 > 计算机视觉 > 正文

在ModelScope中,我微调情感分析模型,是不是应该把数据进行违规符号删除和分词处理?

我微调情感分析模型,是不是应该把数据进行违规符号删除和分词处理?我上星期微调了一次(没有进行违规符号删除和分词处理),loss:0.35-.04,这个效果如何?通过Ms Dataset.load,会进行数据预处理是吧?

展开
收起
崔问问 2023-12-03 22:33:19 37 0
3 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看

    是的,对于情感分析模型的微调,通常需要进行数据预处理。这包括删除违规符号和进行分词处理。删除违规符号可以确保模型不会受到不相关或干扰性的信息的影响,而分词处理可以帮助模型更好地理解文本的含义。

    关于你上星期微调的效果,loss为0.35-0.04表示模型的损失函数值在0.35到0.04之间波动。这个效果的好坏取决于具体的任务和数据集。一般来说,较低的loss值表示模型的性能较好,但具体评价还需要结合其他指标和实际情况进行分析。

    2023-12-04 16:26:08
    赞同 展开评论 打赏
  • 在ModelScope中进行情感分析模型的微调,确实建议对数据进行一定的预处理。这包括违规符号的删除和分词处理,这些操作可以帮助模型更好地理解文本的含义,从而提高预测的准确性。

    对于你上星期微调的结果,0.35-0.04的loss表明模型的性能已经相当不错了。一般来说,loss值越小代表模型的预测效果越好。当然,这也需要根据具体的任务需求和数据集大小来评估。如果在这个测试集上的表现满足要求,那么可以认为微调效果是成功的。

    此外,你提到的Ms Dataset.load方法,我猜想它可能已经包含了一些基本的数据预处理步骤,但为了确保最理想的微调效果,还是建议你自己在训练模型前对数据进行详细的预处理,如去除特殊符号、分词等。

    2023-12-04 14:52:00
    赞同 展开评论 打赏
  • 不用,有preprocessor处理。Ms Dataset.load不处理,可以print(next(iter(train_dataset)))查看一下77c3dc55d15b3927b6cc102c5c0f4612.png
    。此回答整理自钉钉群:魔搭ModelScope开发者联盟群 ①

    2023-12-04 00:08:04
    赞同 展开评论 打赏

包含图像分类、图像生成、人体人脸识别、动作识别、目标分割、视频生成、卡通画、视觉评价、三维视觉等多个领域

相关电子书

更多
视觉AI能力的开放现状及ModelScope实战 立即下载
ModelScope助力语音AI模型创新与应用 立即下载
低代码开发师(初级)实战教程 立即下载