ModelScope，nlp_structbert_zero-shot-支持微调吗？

ModelScope各位大佬，nlp_structbert_zero-shot-classification_chinese-base支持微调吗，代码在上面，报错信息： File "/opt/conda/lib/python3.8/site-packages/torch/utils/data/dataloader.py", line 1371, in _process_data data.reraise() File "/opt/conda/lib/python3.8/site-packages/torch/_utils.py", line 644, in reraise raise exceptionTypeError: Caught TypeError in DataLoader worker process 0.Original Traceback (most recent call last): File "/opt/conda/lib/python3.8/site-packages/torch/utils/data/_utils/worker.py", line 308, in _worker_loop data = fetcher.fetch(index) File "/opt/conda/lib/python3.8/site-packages/torch/utils/data/_utils/fetch.py", line 51, in fetch data = [self.dataset[idx] for idx in possibly_batched_index] File "/opt/conda/lib/python3.8/site-packages/torch/utils/data/_utils/fetch.py", line 51, in data = [self.dataset[idx] for idx in possibly_batched_index] File "/opt/conda/lib/python3.8/site-packages/modelscope/msdatasets/dataset_cls/custom_datasets/torch_custom_dataset.py", line 25, in getitem

展开

收起

真的很搞笑 2023-11-15 07:35:03 78 0

3 条回答

写回答

取消提交回答

小周sir

面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看。
根据您提供的错误信息，这个问题可能不是与微调（fine-tuning）相关的问题，而是在数据加载过程中出现了错误。具体情况可能由于以下原因导致：
1. 数据集问题： 检查所使用的数据集是否正确，并确保数据集能够被正确加载和访问。请确认数据集路径、文件格式、数据预处理等操作是否正确。
2. 索引错误： 错误信息中提到了 torch_custom_dataset.py 文件中的 getitem 方法，这表示在获取数据子集时可能存在索引错误。请确保数据集索引值的范围正确且没有越界。
3. 数据加载问题： 错误信息中涉及到 DataLoader 的使用，可能存在数据加载的问题。请检查数据加载的配置参数，如批量大小、并发线程数等，并确保它们与数据集的大小和资源环境相匹配。
4. 依赖版本兼容性： 确保 ModelScope、PyTorch 及其他相关依赖库的版本兼容。不同版本之间可能存在接口或功能的差异，导致报错。尝试升级或降级相关库的版本，以解决潜在的兼容性问题。
2023-11-30 22:59:46

赞同展开评论打赏
sunrr

看起来你正在尝试使用ModelScope的nlp_structbert_zero-shot-classification_chinese-base模型，并且在尝试微调这个模型时遇到了问题。

报错信息表明，问题出现在尝试访问数据集的时候。看起来这个错误可能是由于你的数据集没有正确地实现PyTorch的数据加载（DataLoader）接口。

在PyTorch中，要使用DataLoader加载数据集，需要实现两个基本的方法：__len__ 和 __getitem__。__len__ 方法返回数据集的总长度，__getitem__ 方法则根据索引返回一个数据样本。

错误发生在 torch/utils/data/_utils/fetch.py 的 fetch 方法中，当尝试从数据集中获取数据时。看起来你的数据集可能没有正确地实现 __getitem__ 方法，或者在 __getitem__ 方法中出现了类型错误。

因此，你需要检查你的数据集实现，确保 __getitem__ 方法正确地返回数据样本，并且没有出现类型错误。

2023-11-15 14:55:49

赞同展开评论打赏
芯在这

这个模型不支持训练，因为它的预处理器需要传入hypothesis_template和candidate_labels这两个字段
https://www.modelscope.cn/models/damo/nlp_structbert_backbone_base_std/summary
您考虑下用这个吧,zeroshot的使用场景本身就是直接推理，此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”

2023-11-15 13:06:15

赞同展开评论打赏