初次体验魔搭,问题一堆堆

简介: 问题不少,可以提升的空间还很大

新注册了Modelscope的测试环境,主要目的是体验新发布的Qwen2模型,结果遇到了一堆问题:
1) Cuda out of memory的错误经常出现

粘贴GPT的回复如下:
模型大小和显存占用:
虽然模型文件大小为 16GB,但加载到显存中会有额外开销,例如中间激活值、优化器状态等。当前显存占用已经达到了 20.7GB(大部分是从大池分配),接近 24GB 显存的上限。
显存碎片化:

非可释放内存(约 174.5 MiB)表明显存可能存在碎片化问题,导致无法分配连续的大块内存。
分配和释放频率:

总分配量和总释放量很高,表明显存分配和释放操作频繁。这可能导致内存碎片化和管理开销增加。

尝试执行了torch.cuda.empty_cache()也不管用,重启kernel也不管用,
只能关掉NoteBook实例重新加载,但是错误依然会出现。

2) 评测了一下文本生成视频的模型,发现语义理解能力相当差,只有例子中带的熊猫吃竹子的视频
基本靠谱,换成其他输入,例如:两只鸭子正在小池塘里安静的游动,生成的视频完全不着边际。。。

3) 司南评测里随便选了几个模型进行对比评测,发现code能力和GPT差的不是一星半点,最后只好放弃。

相关文章
|
网络协议 安全 前端开发
网络技术基础(2)——网络参考模型
【2月更文挑战第6天】网络基础笔记
|
12月前
|
JSON 人工智能 API
云上玩转DeepSeek系列之四:DeepSeek R1 蒸馏和微调训练最佳实践
本文将为您带来“DeepSeek R1+Qwen 大模型蒸馏和微调训练”最佳实践。阿里云 PAI 平台提供了围绕 DeepSeek 模型的最佳实践,涵盖快速部署、应用搭建、蒸馏和微调等环节,帮助开发者高效利用计算资源,使用 Model Gallery 功能,轻松完成部署与微调任务。
|
11月前
|
运维 监控 安全
IDS 和 IPS 日志监控的重要性
本文介绍了入侵检测系统(IDS)与入侵防御系统(IPS)在企业网络安全中的重要作用及区别。IDS通过监控网络流量、识别异常活动并生成警报,采用异常检测和签名检测等方法保障安全;而IPS作为自动化设备,主动分析流量并阻止恶意攻击,同时重新配置防火墙以增强防护能力。两者协同工作可实时抵御威胁,并通过日志记录和分析优化安全策略。此外,卓豪EventLog Analyzer能有效监控和分析IDS/IPS日志,助力企业精准识别复杂威胁,提升整体网络安全水平。
252 0
|
传感器 监控 安全
网络安全:IPS和IDS有啥区别?
【10月更文挑战第15天】
1034 0
网络安全:IPS和IDS有啥区别?
|
Java Unix Linux
Java “SocketException” 错误怎么处理
Java 中的 "SocketException" 错误通常发生在网络通信过程中,如连接失败、断开连接或数据传输异常。处理方法包括检查网络配置、确保服务器正常运行、使用超时设置和重试机制,以及捕获并处理异常。
2425 6
|
安全 Java 程序员
shiro学习三:shiro的源码分析
这篇文章是关于Apache Shiro安全框架的源码分析,主要探讨了Shiro的认证流程和自定义Realm的实现细节。
295 0
shiro学习三:shiro的源码分析
|
机器学习/深度学习 Python
时间序列特征提取:从理论到Python代码实践
时间序列是一种特殊的存在。这意味着你对表格数据或图像进行的许多转换/操作/处理技术对于时间序列来说可能根本不起作用。
542 1
时间序列特征提取:从理论到Python代码实践
|
安全 网络安全 数据安全/隐私保护
什么是2FA?如何在公共网站上实现2FA?
【8月更文挑战第31天】
3119 0
|
机器学习/深度学习 监控 安全
IDS 和 IPS 的区别详解
【8月更文挑战第31天】
1846 0