ModelScope Youku-mPLUG的 Video Captioning Dataset ？
ModelScope Youku-mPLUG的 Video Captioning Dataset 这个貌似有问题 有文件报404了 oss2.exceptions.NoSuchKey: {'status': 404, 'x-oss-request-id': '6487F1D5E38C9839309DA601', 'details': {'Code': 'NoSuchKey', 'Message': 'The specified key does not exist.', 'RequestId': '6487F1D5E38C9839309DA601', 'HostId': 'dataset-hub.oss-cn-hangzhou.aliyuncs.com', 'Key': 'public--zip/modelscope/Youku-AliceMind/master/videos/caption/14111B12117117F41b4-Jb2BB8735Y4C-F4J2AaC83Fa5EEYa3A-Aa731YB34-A15EaTdfofa112.mp4', 'EC': '0026-00000001'}}
-
应该是数据有一部分被绿网静默拦截掉了，但是meta文件的映射中还存在，导致找不到object； 我这边先过滤一下meta中的invalid data。已经处理好了哈，再试一下，参考下面步骤：
-
先删除本地缓存中的meta文件夹：rm -rf ~/.cache/modelscope/hub/datasets/modelscope/Youku-AliceMind/master/meta
-
参考readme中的示例：
from modelscope.hub.api import HubApi from modelscope.msdatasets import MsDataset from modelscope.utils.constant import DownloadMode api = HubApi() sdk_token = "" # Required, obtain from ModelScope WEB personal center api.login(sdk_token) # online ds = MsDataset.load( 'Youku-AliceMind', namespace='modelscope', # download_mode=DownloadMode.FORCE_REDOWNLOAD, # if you need to clean the cache , please use it subset_name='caption', split='train', # Options: train, test, validation use_streaming=True)
print(next(iter(ds)))
Example: {'video_id:FILE': '~/.cache/modelscope/hub/datasets/modelscope/Youku-AliceMind/master/data_files/e9310682ebd280cf194897524c6725a6f75b7d32629861f5f25f136187bad6a7', 'golden_caption': '白色的小羊站在一旁讲话。旁边还有两只灰色猫咪和一只拉着灰狼的猫咪。'}
Note: you can use mp4 decoder to open the video file in local cache.，此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”
2023-06-17 17:07:00赞同 展开评论 -
ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！欢迎加入技术交流群：微信公众号：魔搭ModelScope社区，钉钉群号：44837352