谷歌Colab免费算力平台——正确使用方法及常用操作技巧
简介
谷歌的colab自带一块GPU,配合谷歌云盘的存储,是一个很好的个人深度学习模型训练的平台。
初次接触colab会有很有碰壁和卡壳的地方,这篇博客会给出一些colab的常用操作指导,包括:数据集存放,GPU开启,jupyter指令和路径等等内容。
数据集
使用colab首先要理解他的正确打开方式。在colab中,数据和代码都是存储在谷歌硬盘中(存储中心),而colab提供算力和操作界面。
所以,我们上传我们的代码和数据时,是上传到谷歌硬盘中。并且实时修改文件内容,同样也是在谷歌硬盘操作。
然后,在使用colab时,colab挂载我们的谷歌云盘,就能够看到我们上传的数据了。
需要注意的内容时,在colab中大规模的读写文件的速度比本地要慢。所以,当我们要对文件进行处理时,可以选择在本地处理好再上传到谷歌硬盘。也就是说colab只用做训练。(但是GPU还是香)
使用GPU
第二个操作指南是关于如何打开GPU。
如上图,选择colab中的“修改”,再选择笔记本设置,就可以看到是否启用GPU的选项。
Jupyter常用命令
第三个操作指导是关于jupyter常用命令,包括:常用的命令行命令(处理文件、进入目录)和python相关命令(pip,运行python文件)
Jupyter默认是运行python代码指令的,如果要运行命令行命令通常是在前面加上!。
比如:查看GPU配置
!/opt/bin/nvidia-smi
挂载云盘
from google.colab import drive
drive.mount('/content/drive')
pip安装第三方库
!pip install numpy
运行python文件
!python train.py
进入到目录中,值得注意的是,这里的前缀符号是%
%cd /content/drive/MyDrive/yolov5-master/
删除文件夹(文件夹中有文件)
!rm -r labels
查看当前目录下属的文件
!ls
路径问题
路径问题是我们跑模型,跑代码经常要碰到的问题。
很多时候,我们兴致勃勃从github或者其他地方,拿到代码和数据集,准备自己跑一下的时候,因为路径不匹配导致代码跑不了。
在写路径时,我们可以用相对路径,也可以用绝对路径。
绝对路径
在colab中,我们的数据和代码放在挂载的谷歌硬盘中。绝对路径一般是:/content/drive/ 。比如,下图红框中的“yolov5-master”,其绝对路径就是:/content/drive/MyDrive/yolov5-master/
/content/drive/MyDrive/yolov5-master/
相对路径
我们可以先进入到对应的文件夹下(用下面的cd命令)
,再使用相对路径。
%cd /content/drive/MyDrive/yolov5-master/
如果我们进入到了MyDrive这个文件夹,我们可以用一下两种方式表示yolov5-master文件夹的相对路径。
yolov5-master
./yolov5-master