ModelScope是哪个配置文件，这是训练完后生成的文件？
ModelScope是哪个配置文件，这是训练完后生成的文件？
这个配置文件是自动生成的，要生成之后再去修改吗？是不是我的训练配置有问题，你帮我看下呢
experiment:
exp_dir: experiments/
exp_name: toy_msra
seed: 42
task: named-entity-recognition
dataset:
data_file:
train: '/data1/product_brand_ner/train/train_data/train.txt'
valid : '/data1/product_brand_ner/train/train_data/test.txt'
test: '/data1/product_brand_ner/train/train_data/dev.txt'
data_type: conll
preprocessor:
type: sequence-labeling-preprocessor
max_length: 100
data_collator: SequenceLabelingDataCollatorWithPadding
model:
type: sequence-labeling-model
embedder:
model_name_or_path: damo/nlp_raner_named-entity-recognition_chinese-base-ecom-50cls
dropout: 0.1
use_crf: true
train:
max_epochs: 5
dataloader:
batch_size_per_gpu: 8
optimizer:
type: AdamW
lr: 5.0e-5
param_groups:
- regex: crf
lr: 5.0e-1
options:
cumulative_iters: 4
evaluation:
dataloader:
batch_size_per_gpu: 16
metrics:
- type: ner-metric
-
这个配置文件是用于训练命名实体识别（Named Entity Recognition，NER）任务的。它包含了实验设置、数据集配置、预处理器配置、数据收集器配置、模型配置、训练配置和评估配置等信息。
在训练完成后，会生成一个名为
toy_msra.pth的文件，其中包含了训练好的模型参数。如果您想修改配置文件并重新训练模型，可以按照以下步骤进行操作：- 打开配置文件（例如
config.yaml），根据您的需求进行相应的修改。 - 保存配置文件。
- 运行训练脚本（例如
train.py），使用修改后的配置文件进行训练。 - 训练完成后，您将获得一个新的模型文件（例如
toy_msra.pth）。
2023-11-02 09:58:32赞同 展开评论 - 打开配置文件（例如
-
output_best/configuration.json，pipeline中model也指定这个路径，比如：model='/xxx/xxx/output_best'，您先按照embedder damo/nlp_maoe_named-entity-recognition_general跑一下，这里有个adaseq的群，您也咨询一下https://github.com/modelscope/AdaSeq/blob/master/README_zh.md，此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”
2023-11-01 22:02:38赞同 展开评论
