备案控制台

wangxingjun778_个人页

个人头像照片 wangxingjun778
个人头像照片
文章
0
问答
6
视频
0

个人介绍

AI系统工程

擅长的技术

  • Java
  • Python
  • 自然语言处理
  • 计算机视觉
  • 人工智能
  • 算法
获得更多能力
通用技术能力：

暂时未有相关通用技术能力~

云产品技术能力：

暂时未有相关云产品技术能力~

阿里云技能认证

详细说明
暂无更多信息

2023年06月

2022年11月

正在加载, 请稍后...
暂无更多信息
  • 回答了问题 2023-06-15

    数据下载失败。无法高效下载

    1. 用例中的next(iter(data))只是随便展示一条示例，可以自行改成 for item in data: print(item) 的方式哈
    2. 速度的问题，目前因为数据集超大，像pretrain有1000w个视频文件，无法一次性加载到内存，所以先给出了流式加载的示例，流式加载的机制会一条一条的遍历，所以效率偏低，针对这个问题我们也在同步优化sdk，最新版本很快release出来。
    踩0 评论2
  • 回答了问题 2023-06-15

    使用代码示例下载caption数据集失败 KeyError: 'Video'

    1. 确认一下modelscope的version，如果比较旧，可升级到最新版本： pip3 install modelscope==1.6.1
    2. 清除缓存：~/.cache/modelscope/hub/datasets/modelscope/Youku-AliceMind/master/meta 可尝试删掉这个文件夹下的所有内容
    3. 加载示例： from modelscope.msdatasets import MsDataset

    ds = MsDataset.load('modelscope/Youku-AliceMind', subset_name='caption', split='train', use_streaming=True)

    for line in ds: print(line)

    结果示例： {'video_id:FILE': '/xxxx/Youku-AliceMind/master/data_files/e9310xxxx', 'golden_caption': '白色的小羊站在一旁讲话。旁边还有两只灰色猫咪和一只拉着灰狼的猫咪。'} 1

    踩0 评论0
  • 回答了问题 2023-06-15

    数据下载失败

    可以尝试先删除一下缓存，即该文件夹下的内容： ~/.cache/modelscope/hub/datasets/modelscope/Youku-AliceMind/master/meta

    然后再执行如下代码： from modelscope.msdatasets import MsDataset

    ds = MsDataset.load('modelscope/Youku-AliceMind', subset_name='classification', split='train', use_streaming=True)

    for line in ds: print(line)

    结果示例如下：

    image.png

    踩0 评论1
  • 回答了问题 2022-11-03

    如何开发pythonsdk？开发的条件有哪些？

    开发者可以通过以下方式使用sdk： 1. 自建环境中使用SDK：您可以在自己构建的开发环境中使用SDK，仅需要pip install安装sdk，并在代码中引入相关api即可 2. 使用modelscope官方提供的DSW或EAIS的notebook环境开发应用，该环境已经集成了sdk和相关依赖镜像，并提供CPU/GPU相关算力资源支持。

    详细内容请参考官方文档：https://modelscope.cn/docs/ModelScope%20Library%E6%A6%82%E8%A7%88%E4%BB%8B%E7%BB%8D

    踩0 评论0
  • 回答了问题 2022-11-03

    如何快速上手pythonsdk？

    sdk快速上手指南，请参考官方文档：https://modelscope.cn/docs/ModelScope%20Library%E6%A6%82%E8%A7%88%E4%BB%8B%E7%BB%8D

    踩0 评论0
  • 回答了问题 2022-11-03

    什么是pythonsdk？可以应用在什么场景？

    Modelscope python sdk向开发者提供了一整套API的集合，支持用户使用SDK连接modelscope的data-hub和model-hub，完成数据集的处理和算法模型的开发。

    目前modelscope社区集成了NLP、CV、Speech、Multi-modal、Ai-for-science等方向的算法模型，用户可以在python sdk基础上做二次开发，如数据集的加载和预处理、模型训练、推理，以及基于达摩院的开源预训练模型做finetune。同时，开发者亦可以通过SDK实现对数据集和模型的管理。

    另外，SDK的使用也很简单，开发者可以在本地通过pip install的方式安装，或者使用modelscope提供的notebook(已预装SDK)来开发自己的应用。

    踩0 评论0
正在加载, 请稍后...
滑动查看更多
正在加载, 请稍后...
暂无更多信息