请问ModelScope中,finetune模型的时候出现这个错误,是数据集出问题了吗?

请问ModelScope中,finetune模型的时候出现这个错误,是数据集出问题了吗? Traceback (most recent call last): File "/home/cylonix/.local/lib/python3.8/site-packages/oss2/task_queue.py", line 76, in consumer_func consumer(self) File "/home/cylonix/.local/lib/python3.8/site-packages/oss2/resumable.py", line 410, in __consumer self.__download_part(part) File "/home/cylonix/.local/lib/python3.8/site-packages/oss2/resumable.py", line 424, in __download_part result = self.bucket.get_object(self.key, byte_range=(part.start, part.end - 1), headers=headers, params=self.__params) File "/home/cylonix/.local/lib/python3.8/site-packages/oss2/api.py", line 757, in get_object resp = self.__do_object('GET', key, headers=headers, params=params) File "/home/cylonix/.local/lib/python3.8/site-packages/oss2/api.py", line 2754, in __do_object return self._do(method, self.bucket_name, key, **kwargs) File "/home/cylonix/.local/lib/python3.8/site-packages/oss2/api.py", line 235, in _do resp = self.session.do_request(req, timeout=self.timeout) File "/home/cylonix/.local/lib/python3.8/site-packages/oss2/http.py", line 51, in do_request raise RequestError(e) oss2.exceptions.RequestError: {'status': -2, 'x-oss-request-id': '', 'details': "RequestError: ('Connection aborted.', RemoteDisconnected('Remote end closed connection without response'))"}

Downloading data files: 100%|███████████████████████████████████████████████████████████████████████████████████| 3/3 [2:55:04<00:00, 3501.53s/it] Computing checksums of downloaded files. They can be used for integrity verification. You can disable this by passing ignore_verifications=True to load_dataset Computing checksums: 100%|██████████████████████████████████████████████████████████████████████████████████████████| 3/3 [01:36<00:00, 32.12s/it] Extracting data files: 100%|███████████████████████████████████████████████████████████████████████████████████████| 3/3 [06:44<00:00, 134.71s/it] Dataset comp-sci_terms_speech_t5 downloaded and prepared to /home/cylonix/.cache/modelscope/hub/datasets/Koddaduck/Comp-Sci_Terms_SpeechT5/master/meta/modelscope___dataset_builder/Koddaduck-b8872ec855082ebf/master/train_test_validation. Subsequent calls will reuse this data. 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 572.60it/s] 2023-06-29 12:45:52,257 - modelscope - INFO - Set workdir to ./checkpoint Traceback (most recent call last): File "/home/cylonix/.local/lib/python3.8/site-packages/modelscope/utils/registry.py", line 212, in build_from_cfg return obj_cls(**args) File "/home/cylonix/.local/lib/python3.8/site-packages/modelscope/trainers/audio/asr_trainer.py", line 98, in __init self.train_data_dir, self.dev_data_dir = self.load_dataset_raw_path( File "/home/cylonix/.local/lib/python3.8/site-packages/modelscope/trainers/audio/asr_trainer.py", line 140, in load_dataset_raw_path train_data_dir = self.prepare_data( File "/home/cylonix/.local/lib/python3.8/site-packages/modelscope/trainers/audio/asr_trainer.py", line 162, in prepare_data fp_text.write('\t'.join([os.path.basename(wav_file), text]) + '\n') TypeError: sequence item 1: expected str instance, NoneType found

During handling of the above exception, another exception occurred:

Traceback (most recent call last): File "train.py", line 33, in modelscope_finetune(params) File "train.py", line 19, in modelscope_finetune trainer = build_trainer(Trainers.speech_asr_trainer, default_args=kwargs) File "/home/cylonix/.local/lib/python3.8/site-packages/modelscope/trainers/builder.py", line 39, in build_trainer return build_from_cfg(cfg, TRAINERS, default_args=default_args) File "/home/cylonix/.local/lib/python3.8/site-packages/modelscope/utils/registry.py", line 215, in build_from_cfg raise type(e)(f'{obj_cls.name}: {e}') TypeError: ASRTrainer: sequence item 1: expected str instance, NoneType found

展开
收起
十一0204 2023-07-04 22:23:04 139 分享 版权
2 条回答
写回答
取消 提交回答
  • 这个错误提示表明在下载数据文件时出现了连接异常,而不是数据集本身的问题。可能是网络连接不稳定或被中断导致的。

    要解决这个问题,您可以尝试以下方法:

    1. 确保网络连接稳定:检查您的网络连接,确保没有任何网络故障或限制。如果您使用的是无线网络,请尝试切换到有线网络以提高稳定性。

    2. 重新运行程序:如果这个错误只是偶尔出现,可以尝试再次运行finetune模型的过程,看看是否能够成功下载数据文件。

    3. 更改下载选项:尝试调整下载选项,例如增加超时时间(timeout)或减少并发连接数(connections),以适应您的网络环境。具体的参数设置取决于您所使用的工具和框架。

    4. 使用其他下载方式:如果问题仍然存在,您可以尝试使用其他下载方式,例如将数据集文件下载到本地后手动上传到ModelScope中进行finetune。

    2023-07-24 16:10:07
    赞同 展开评论
  • 北京阿里云ACE会长

    可能是由于数据集上传或下载过程中出现了问题

    错误信息中的File "/home/cylonix/.local/lib/python3.8/site-packages/oss2/resumable.py"可能是指oss2模块中的resumable.py文件,该文件提供了断点续传功能,用于在上传或下载大文件时恢复中断的进度。

    因此,这个错误可能是由于数据集上传或下载过程中出现了中断或错误,导致断点续传失败。可能的原因包括网络连接不稳定、对象存储服务出现故障或权限不足等。

    为了解决这个问题,您可以尝试以下几个步骤:

    检查网络连接是否稳定。如果您使用的是无线网络或移动数据网络,可能会导致网络连接不稳定。建议使用有线网络连接或其他稳定的网络连接。

    检查对象存储服务是否正常。如果对象存储服务出现故障,可能会导致上传或下载失败。建议查看对象存储服务的状态或联系服务提供商以获取更多信息。

    检查您的访问权限是否足够。如果您没有足够的权限访问数据集或对象存储服务,可能会导致上传或下载失败。建议联系数据集或对象存储服务的管理员以获取更多信息。

    2023-07-09 09:53:14
    赞同 展开评论

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352

热门讨论

热门文章

还有其他疑问?
咨询AI助理