初次体验魔搭,问题一堆堆

本文涉及的产品
交互式建模 PAI-DSW,5000CU*H 3个月
模型训练 PAI-DLC,5000CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
简介: 问题不少,可以提升的空间还很大

新注册了Modelscope的测试环境,主要目的是体验新发布的Qwen2模型,结果遇到了一堆问题:
1) Cuda out of memory的错误经常出现

粘贴GPT的回复如下:
模型大小和显存占用:
虽然模型文件大小为 16GB,但加载到显存中会有额外开销,例如中间激活值、优化器状态等。当前显存占用已经达到了 20.7GB(大部分是从大池分配),接近 24GB 显存的上限。
显存碎片化:

非可释放内存(约 174.5 MiB)表明显存可能存在碎片化问题,导致无法分配连续的大块内存。
分配和释放频率:

总分配量和总释放量很高,表明显存分配和释放操作频繁。这可能导致内存碎片化和管理开销增加。

尝试执行了torch.cuda.empty_cache()也不管用,重启kernel也不管用,
只能关掉NoteBook实例重新加载,但是错误依然会出现。

2) 评测了一下文本生成视频的模型,发现语义理解能力相当差,只有例子中带的熊猫吃竹子的视频
基本靠谱,换成其他输入,例如:两只鸭子正在小池塘里安静的游动,生成的视频完全不着边际。。。

3) 司南评测里随便选了几个模型进行对比评测,发现code能力和GPT差的不是一星半点,最后只好放弃。

相关文章
|
2月前
|
人工智能 安全
【新手小白】Sora如何申请?Sora使用教程(最新)
近日,OpenAI发布的Sora模型引发了广泛关注,成为行业内外热议的焦点。这一模型不仅在专业领域引起了极大兴趣,还激发了普通群众对于人工通用智能(AGI)的热情。随着Sora模型的爆红,越来越多的人开始关注一个问题:我们何时能开始使用Sora?在OpenAI的官方论坛上,关于这个问题的讨论异常激烈。有关如何使用Sora的话题阅读量已接近70,000,显示出人们对此充满期待。下面这篇文章解答了大家的这些问题。
4890 3
【新手小白】Sora如何申请?Sora使用教程(最新)
|
21天前
|
程序员 API 数据安全/隐私保护
程序员必知:【转】新浪微博开放平台开发步骤简介(适合新手看)
程序员必知:【转】新浪微博开放平台开发步骤简介(适合新手看)
|
文字识别 自然语言处理
魔搭体验求助
运行ocr demo时报错,望大家协助结局~感谢~
398 0
魔搭体验求助
|
传感器 人工智能 自然语言处理
初次体验图像分类模型识别
自建1300类常见物体标签体系,覆盖常见的日用品,动物,植物,家具,设备,食物等物体,标签从海量中文互联网社区语料进行提取,保留了出现频率较高的常见物体名称。模型结构采用最新的ViT-Base结构。
839 32
初次体验图像分类模型识别
|
关系型数据库 MySQL Serverless
【活动已结束】【体验有奖】使用 Serverless 1 步搭建照片平台
当前,Serverless 技术已经被广泛应用,Serverless = FaaS + BssS 的概念已经深入人心。本场景由函数计算和 RDS MySQL Serverless 联合打造,通过函数计算的快速部署能力,以及 MySQL Serverless 数据库的极致弹性,让开发者一步快速搭建简单的图片管理平台,体验 FaaS+BaaS 的 Serverless 架构的魅力。
【活动已结束】【体验有奖】使用 Serverless 1 步搭建照片平台
|
关系型数据库 MySQL Serverless
【体验有奖】使用 Serverless 1 步搭建照片平台!
参与RDS MySQL Serverless实验,Get相册应用,赢AirPods!
【体验有奖】使用 Serverless 1 步搭建照片平台!
|
存储 前端开发 Ubuntu
初次使用阿里云完成一个小项目的体验
作为一个非编程专业的学生,使用阿里云服务器对我的帮助很大,以下是我使用阿里云过程中的一些体验
初次使用阿里云完成一个小项目的体验
|
弹性计算 Linux 云计算
阿里云学习体验
对阿里云服务器的学习,了解。