前言
Google Colab是一个基于云端的免费Jupyter笔记本环境,可供用户创建、分享、运行Python代码和机器学习模型。
一、Google Colab介绍
Google Colab是一个免费的基于云端的Jupyter笔记本环境,由Google提供。它提供了一个方便的平台,使用户可以创建、分享和协作编写Python代码和机器学习模型。以下是Google Colab的主要特点和功能:
- 免费:Google Colab是免费的,无需购买任何硬件或软件。
- 云端运算:Google Colab使用Google的云端计算机,使用户能够在云端上运行代码,而不必担心自己的电脑性能和存储空间。
- Jupyter笔记本:Google Colab基于Jupyter笔记本,使用户可以创建和运行Python代码,以及撰写说明文档、添加图表等。
- GPU支持:Google Colab提供GPU加速,可加速深度学习和机器学习任务的运行。
- 与Google Drive集成:Google Colab与Google Drive集成,可以直接在Google Drive中创建和保存笔记本,并与其他用户共享。
- 代码协作:Google Colab支持多人协作,多个用户可以同时编辑同一个笔记本,使得团队合作更加高效。
- 代码分享:Google Colab可以将笔记本转换为可分享的HTML或PDF格式,方便与他人分享代码和结果。
总之,Google Colab是一个方便、免费、强大的云端Jupyter笔记本环境,非常适合Python编程和机器学习任务。
二、Colab限额、提供的GPU类型
Colab限额:Colab能够免费提供资源的原因之一是它采用了动态限额,随时变化以满足用户需求,但无法保证资源的供应或无限供应(单次最长12小时,自动断开连接)。因此,总体使用量限额、空闲超时时长、虚拟机最长生命周期、可用GPU类型等都可能不时变化,Colab也不会公布这些限额,因为它们会快速变化。如果用户希望获得更高、更稳定的使用量限额,可以订阅Colab Pro。
提供的GPU类型: Colab 中的可用 GPU 类型是动态变化的,通常包括 Nvidia K80、T4、P4 和 P100。
三、Colab的使用步骤
Google Colab 支持挂载 Google Drive,方便存储文件。因此,我建议您直接使用 Google Drive 登录,以便更轻松地进行文件存储。 Google Driver官网
3-1、添加Colab
- 左上角新建,选择关联更多应用并且安装Colaboratory。
3-2、新建Colab、连接GPU、挂载Google Driver、上传文件
- 如图所示新建Jupyter笔记本
连接到GPU
1、先确定右侧显示RAM和磁盘,我的是已经连接,如果未连接,点击会出现连接到托管的运行时
2、之后点击左侧修改->笔记本设置->选择GPU。
挂载Google Driver:
1、为什么要挂载Google Driver:如果没有挂载Google Driver(Google 云端硬盘),则下载的文件只会暂时存在(即下次打开时,下载在Jupyter NoteBook的文件就不见了),初始阶段,左侧只有sample_data一个文件夹,当使用代码挂载Google Driver后,左侧出现driver文件夹,只要我们的文件放在driver后,文件就不会消失了(下次打开的时候需要再次使用代码挂载Google Driver)
- 2、代码:
from google.colab import drive drive.mount('/content/drive')
上传文件: 直接点击新建-》上传文件就可以上传到云端硬盘啦。
3-3、查看显卡驱动
# 确定自己是否在GPU环境下,如果输出gpu则证明在 import tensorflow as tf tf.test.gpu_device_name() # 查看显卡驱动 !/opt/bin/nvidia-smi
3-4、导入自定义模块
# 上传文件后执行以下代码就可以了 import sys sys.path.append('/content/gdrive/yourdirectory')
3-5、路径问题(注意)
- 初始路径为/content,使用!pwd命令查看(白嫖版无小黑窗,多少有点不太习惯,充钱版小黑窗运行命令超级慢,慎重!)
- 每次执行完命令都会回到初始/content,如下图所示,每次都要重新进入路径里,如下所示:
# 拷贝Bi-SimCut的项目 !cd /content/drive/MyDrive && git clone https://github.com/gpengzhi/Bi-SimCut # 安装二进制包 !cd /content/drive/MyDrive/Bi-SimCut/fairseq/ && pip install --editable ./ -i https://pypi.mirrors.ustc.edu.cn/simple/
- 多个命令使用&&连接,如果遇到换行记得加\
!cd /content/drive/MyDrive/Bi-SimCut && \ mkdir -p checkpoint/iwslt14_de_en_bid_simcut_alpha3_p005 && \ mkdir -p log/iwslt14_de_en_bid_simcut_alpha3_p005 \
3-6、管理会话
- 点击RAM旁边的倒三角,查看资源,管理会话。
- 如果有正在运行的,而且不在使用的GPU会话记得及时关掉,因为个人额度是有限的。所以只要在模型训练时开启GPU模式,其他情况使用None即可。
3-7、界面按钮详解
3-8、交互指令
交互指令:用!bash 开启交互指令,输入exit退出。(不用开小黑窗口啦!唯一的缺点是输入的命令不显示,得点一下才可以显示。)
3-9、安装需求包
# 先从其他环境把包输出到requirements.txt文件里。 !pip install -r requirements.txt
参考文章:
Colab使用教程(超级详细版)及Colab Pro/Pro+评测.
总结
那就去吃烧烤吧!