GPU服务器:使用Colab

简介: GPU服务器:使用Colab

1.上传数据集

在 我的云端硬盘 创建一个文件夹(如deeplearning),放入要运行的数据集,比如保存在文件夹数据集里

上传数据集

2.挂载谷歌云盘

在deeplearning 目录创建一个 .ipynb 文件,以colab方式打开。

下面进行挂载云盘

from google.colab import drive
drive.mount('/content/gdrive')

3.更改运行目录

查看一下当前运行目录

!pwd

可以看到这样的目录,所有的云端硬盘文件都在MyDrive里了

接下来打算在/content/gdrive/MyDrive/deeplearning目录,运行。

import os
os.chdir("/content/gdrive/MyDrive/deeplearning")

确认一下运行目录

!pwd

4.上传.py执行文件

这边上传了dataset.py,eval.py,file1.py,train.py4个文件。

(虽然可以在notebook上运行,但是个人习惯在本地跑通后,直接放到colab上(可以适当增加batch size,毕竟colab的gpu显存比本地显存大),因为部分notebook的代码需要变化)

5.运行

在当前目录下执行

!python train.py

等待训练就行了。

6.其他问题

6.1换成gpu

点击 代码执行程序-更改运行时类型,硬件加速器换成gpu就行

查看显卡型号和显存

!nvidia-smi

这次分配到的是一张Tesla-T4显卡,16显存(实际上就15G这样)。

接下来重复2、3、4、5操作就行了。

6.2下载数据集

毕竟梯子还是有按照流量来算的。直接上传到云端硬盘有点废流量。

先完成 .更改运行目录,把数据集的url复制进去。运行,等待下载就行了。这样就不需要从本地上传了。(下载到当前运行目录)

import urllib.request
print ("downloading with urllib")
url = 'http://tianchi-competition.oss-cn-hangzhou.aliyuncs.com/531872/%E5%9C%B0%E8%A1%A8%E5%BB%BA%E7%AD%91%E7%89%A9%E8%AF%86%E5%88%AB/train.zip'
f = urllib.request.urlopen(url)
data = f.read()
with open("train.zip", "wb") as code:
 code.write(data)

6.3解压

用python解压到当前文件

import zipfile
with zipfile.ZipFile('train.zip','r') as zzz:
    zzz.extractall()

或者用命令解压

!unzip train.zip

6.4包安装和更新

查看安装的所有包

!pip list

安装想要的包(比如:pillow)

!pip install pillow

更新包

!pip install pillow --upgrade


相关实践学习
在云上部署ChatGLM2-6B大模型(GPU版)
ChatGLM2-6B是由智谱AI及清华KEG实验室于2023年6月发布的中英双语对话开源大模型。通过本实验,可以学习如何配置AIGC开发环境,如何部署ChatGLM2-6B大模型。
相关文章
|
12月前
|
弹性计算 搜索推荐 异构计算
阿里云服务器多少钱一年?亲自整理ECS、轻量和GPU服务器租赁价格表
2025年阿里云服务器优惠汇总:轻量应用服务器2核2G 38元/年起,ECS 2核2G 99元/年,2核4G 199元/年,4核16G 89元/月,8核32G 160元/月,香港轻量25元/月起,新老用户同享,续费同价。
2428 158
|
12月前
|
存储 机器学习/深度学习 人工智能
硅谷GPU单节点服务器:技术解析与应用全景
“硅谷GPU单节点服务器”代表了在单个物理机箱内集成强大计算能力,特别是GPU加速能力的高性能计算解决方案。它们并非指代某个特定品牌,而是一类为处理密集型工作负载而设计的服务器范式的统称。
|
12月前
|
机器学习/深度学习 人工智能 弹性计算
2025年阿里云GPU服务器租用价格与应用场景详解
阿里云GPU服务器基于ECS架构,集成NVIDIA A10/V100等顶级GPU与自研神龙架构,提供高达1000 TFLOPS混合精度算力。2025年推出万卡级异构算力平台及Aegaeon池化技术,支持AI训练、推理、科学计算与图形渲染,实现性能与成本最优平衡。
|
12月前
|
弹性计算 搜索推荐 异构计算
租用阿里云服务器一年要多少钱?ECS、轻量和GPU服务器租赁价格,手动整理
2025年10月阿里云服务器优惠持续,轻量应用服务器200M带宽38元起/年,ECS 2核2G 99元/年、2核4G 199元/年,4核16G 89元/月,8核32G 160元/月,香港轻量25元/月起,新老同享,续费不涨价。
1897 2
|
12月前
|
人工智能 算法 调度
阿里云ACK托管集群Pro版共享GPU调度操作指南
本文介绍在阿里云ACK托管集群Pro版中,如何通过共享GPU调度实现显存与算力的精细化分配,涵盖前提条件、使用限制、节点池配置及任务部署全流程,提升GPU资源利用率,适用于AI训练与推理场景。
896 1
|
存储 机器学习/深度学习 数据库
阿里云服务器X86/ARM/GPU/裸金属/超算五大架构技术特点、场景适配参考
在云计算技术飞速发展的当下,云计算已经渗透到各个行业,成为企业数字化转型的关键驱动力。选择合适的云服务器架构对于提升业务效率、降低成本至关重要。阿里云提供了多样化的云服务器架构选择,包括X86计算、ARM计算、GPU/FPGA/ASIC、弹性裸金属服务器以及高性能计算等。本文将深入解析这些架构的特点、优势及适用场景,以供大家了解和选择参考。
1766 61
|
12月前
|
人工智能 城市大脑 运维
喜讯!阿里云国产异构GPU云平台技术荣获“2025算力中国·年度重大成果”
2025年8月23日,在工业和信息化部新闻宣传中心、中国信息通信研究院主办的2025中国算力大会上,阿里云与浙江大学联合研发的“国产异构GPU云平台关键技术与系统”荣获「算力中国·年度重大成果」。该评选旨在选拔出算力产业具有全局性突破价值的重大成果,是业内公认的技术创新“风向标”。
1091 0

热门文章

最新文章