wangxingjun778_个人页
wangxingjun778
文章
0
问答
6
视频
0
个人介绍
AI系统工程
擅长的技术
- Java
- Python
- 自然语言处理
- 计算机视觉
- 人工智能
- 算法
暂无更多信息
暂无更多信息
暂无更多信息
-
回答了问题
2023-06-15
数据下载失败。无法高效下载
用例中的next(iter(data))只是随便展示一条示例，可以自行改成 for item in data: print(item) 的方式哈速度的问题，目前因为数据集超大，像pretrain有1000w个视频文件，无法一次性加载到内存，所以先给出了流式加载的示例，流式加载的机制会一条一条的遍历，所以效率偏低，针对这个问题我们也在同步优化sdk，最新版本很快release出来。赞0 踩0 评论2 -
回答了问题
2023-06-15
使用代码示例下载caption数据集失败 KeyError: 'Video'
确认一下modelscope的version，如果比较旧，可升级到最新版本： pip3 install modelscope==1.6.1清除缓存：~/.cache/modelscope/hub/datasets/modelscope/Youku-AliceMind/master/meta 可尝试删掉这个文件夹下的所有内容加载示例： from modelscope.msdatasets import MsDataset ds = MsDataset.load('modelscope/Youku-AliceMind', subset_name='caption', split='train', use_streaming=True) for line in ds: print(line) 结果示例： {'video_id:FILE': '/xxxx/Youku-AliceMind/master/data_files/e9310xxxx', 'golden_caption': '白色的小羊站在一旁讲话。旁边还有两只灰色猫咪和一只拉着灰狼的猫咪。'} 1赞0 踩0 评论0 -
回答了问题
2023-06-15
数据下载失败
可以尝试先删除一下缓存，即该文件夹下的内容： ~/.cache/modelscope/hub/datasets/modelscope/Youku-AliceMind/master/meta 然后再执行如下代码： from modelscope.msdatasets import MsDataset ds = MsDataset.load('modelscope/Youku-AliceMind', subset_name='classification', split='train', use_streaming=True) for line in ds: print(line) 结果示例如下：赞0 踩0 评论1 -
回答了问题
2022-11-03
如何开发pythonsdk？开发的条件有哪些？
开发者可以通过以下方式使用sdk： 1. 自建环境中使用SDK：您可以在自己构建的开发环境中使用SDK，仅需要pip install安装sdk，并在代码中引入相关api即可 2. 使用modelscope官方提供的DSW或EAIS的notebook环境开发应用，该环境已经集成了sdk和相关依赖镜像，并提供CPU/GPU相关算力资源支持。 详细内容请参考官方文档：https://modelscope.cn/docs/ModelScope%20Library%E6%A6%82%E8%A7%88%E4%BB%8B%E7%BB%8D赞2 踩0 评论0 -
回答了问题
2022-11-03
如何快速上手pythonsdk？
sdk快速上手指南，请参考官方文档：https://modelscope.cn/docs/ModelScope%20Library%E6%A6%82%E8%A7%88%E4%BB%8B%E7%BB%8D赞3 踩0 评论0 -
回答了问题
2022-11-03
什么是pythonsdk？可以应用在什么场景？
Modelscope python sdk向开发者提供了一整套API的集合，支持用户使用SDK连接modelscope的data-hub和model-hub，完成数据集的处理和算法模型的开发。 目前modelscope社区集成了NLP、CV、Speech、Multi-modal、Ai-for-science等方向的算法模型，用户可以在python sdk基础上做二次开发，如数据集的加载和预处理、模型训练、推理，以及基于达摩院的开源预训练模型做finetune。同时，开发者亦可以通过SDK实现对数据集和模型的管理。 另外，SDK的使用也很简单，开发者可以在本地通过pip install的方式安装，或者使用modelscope提供的notebook(已预装SDK)来开发自己的应用。赞2 踩0 评论0
滑动查看更多
暂无更多信息