小白请教两个使用问题
已解决一、train_src是否应该填写.bpe文件？ 根据模型介绍里预处理后得到的两个文件是train.en.tok.bpe&train.zh.tok.bpe。 configuration.json配置的train_src和train_trg应该是这两个bpe文件吧？看了下源码读取的就是填写的文件，但是预处理后生成的是bpe文件，有一点困惑。
二、train_max_len定义的是每一条训练数据的长度吧？ 配置了自己找的语料库(4w+数据)后，训练完成执行测试总感觉没有任何效果。。不知道是不是哪个参数配置错误了，看代码应该是跑了，不知道是不是我的配置有问题。
附图是我训练时的执行结果。
展开
收起
1
条回答
写回答
写回答
-
采纳回答您好，以下是针对两个问题的回复： 1.由于模型文件里包含的train.en和train.zh已经是经过tokenization和BPE预处理后的结果，所以配置文件里面的train_src和train_trg字段分别置成了train.en和train.zh。在使用的时候，用户需要将自有数据经过预处理，然后再配置这两个字段。 2. train_max_len定义的是训练集中每一条源文或译文的最大长度。从图片来看，可能存在一以下几个原因：（1）训练数据太少，基础模型是基于2亿+的双语数据训练完成，如果紧接用用4w+（非垂直领域）数据进行微调，可能看不出明显效果；（2）loss过大，可以排查一下预处理阶段是否有误，一般微调初始阶段的loss会在2-4之间（排除这4w+数据属于极特别的垂直领域、与通用场景差异较大的情况）；（3）迭代步数过少，模型尚未收敛。
2022-11-29 10:54:26赞同 1 展开评论 打赏
相关问答
热门讨论
热门文章
modelscope-funasr的FunClip怎么安装的？
1982
小白求助，跟着大模型微调教程做不太明白
798
练的pth模型文件，怎么转成bin文件？
912
gpt3,加载数据时，MsDataset.load报错
1193
在modelscope-funasr中找不到有效的 OpenPGP 数据，如何解决？
120
modelscope-funasr在安卓平台可以集成sense voice吗？
165
请问微调开元模型qwe1.5b 和 7b 分别支持数据集的上下文长度是多少个汉字/token？
1169
基于SQL数据库的RAG的若干疑问
25
如何下载llama模型到本地？
2834
modelscope-funasr怎么使用 gpu 加速啊？
473
展开全部
智胜未来：国内大模型+Agent应用案例精选，以及主流Agent框架开源项目推荐
1739
今日 AI 开源｜共 4 项｜DeepSeek 推出新一代 AI 推理模型，实力比肩 OpenAI o1-preview！
37
Open Interpreter：AI 赋能终端！在终端中对话AI模型进行编程，通过运行代码来完成各种计算机操作任务
36
Perplexica：开源 AI 搜索引擎，Perplexity AI 的开源替代品，支持多种搜索模式、实时信息更新
33
RAG+AI工作流+Agent：LLM框架该如何选择，全面对比MaxKB、Dify、FastGPT、RagFlow、Anything-LLM,以及更多推荐
656
最佳实践！使用 GraphRAG + GLM-4 对《红楼梦》全文构建中文增强检索
27
LLM 大模型学习必知必会系列(二)：提示词工程-Prompt Engineering 以及实战闯关
933
Memoripy：支持 AI 应用上下文感知的记忆管理 Python 库
26
LLM 大模型学习必知必会系列(一)：大模型基础知识篇
1356
AI Shell：在命令行里“对话” AI ，微软推出将 AI 助手引入命令行的 CLI 工具，打造对话式交互命令行
22
展开全部
