代码收藏家 mmrotate旋转目标检测框架的学习与使用
目录
前言
mmrotate旋转目标检测框架的学习与使用是在AutoDL的服务器上进行的，配置为ubuntu18.04，GPU RTX 2080 Ti * 1，以下是一个学习过程的记录，希望能对大家有所帮助。
一、环境配置
MMRotate 依赖 PyTorch, MMCV 和 MMDetection，以下是安装的简要步骤。 更详细的安装指南请参考 安装文档。
conda create -n open-mmlab python=3.7 pytorch==1.7.0 cudatoolkit=10.1 torchvision -c pytorch -y
conda activate open-mmlab
pip install openmim
mim install mmcv-full
mim install mmdet
git clone https://github.com/open-mmlab/mmrotate.git
cd mmrotate
pip install -r requirements/build.txt
pip install -v -e .
一切顺利之后，为了验证是否正确安装了 MMRotate，我们需进行以下操作。
1. 下载checkpoint文件
新建一个checkpoint文件夹，将checkpoint文件下载到该文件夹下，checkpoint文件可根据自己的需求进行下载，我下载的是s2anet_r50_fpn_1x_dota_le135-5dfcf396.pth和s2anet_r50_fpn_fp16_1x_dota_le135-5cac515c.pth
2. 运行demo
运行指令形式如下：
python demo/image_demo.py \
${IMG_ROOT} \
${CONFIG_FILE} \
${CHECKPOINT_FILE} \
${OUT_FILE}IMG_ROOT：为待检测图像
CONFIG_FILE：为配置文件
CHECKPOINT_FILE：为训练好的权重。OUT_FILE：输出图片的保存zaizh
输入以下指令：
python ./demo/image_demo.py ./demo/demo.jpg ./configs/s2anet/s2anet_r50_fpn_fp16_1x_dota_le135.py ./checkpoint/s2anet_r50_fpn_fp16_1x_dota_le135-5cac515c.pth --out-file ./demo/result.jpg
应该正常运行的，但是出现了错误（如果运行正常，会在demo文件夹下看到结果result.jpg）：
有可能是在开始安装mmcv-full的时候，没有指定版本，选择直接安装，如下：
pip install mmcv-full
采用这样默认安装mmcv-full的方式，如果与你环境里的cuda和torch版本不匹配，就容易出现上面报错，卸载掉原来的mmcv。
pip uninstall mmcv-full打开mmcv，点击下图已经建立好的对应版本，进行安装。
我的是torch1.7.0 cuda10.1，对应的install形式如下：
pip install mmcv-full=={mmcv_version} -f https://download.openmmlab.com/mmcv/dist/cu101/torch1.7.0/index.html
需要指定mmcv_version，前面报错有提示： Please install mmcv>=1.4.5, <=1.6.0，故选择1.6.0进行安装
pip install mmcv-full==1.6.0 -f https://download.openmmlab.com/mmcv/dist/cu101/torch1.7.0/index.html安装完成后，输入指令再次进行测试：
python ./demo/image_demo.py ./demo/demo.jpg ./configs/s2anet/s2anet_r50_fpn_fp16_1x_dota_le135.py ./checkpoint/s2anet_r50_fpn_fp16_1x_dota_le135-5cac515c.pth --out-file ./demo/result.jpg
原图与输出结果的对比;
二、制作自己的数据集
1. 标注数据
使用的工具是rolabelimg，rolabelimg安装过程太过繁琐，为了节省精力，已提供rolabelimg.exe，可自行下载
链接：https://pan.baidu.com/s/1j9uV-_2zYC7pb6YTzaeLXQ 提取码：qxmg
为了进行后续操作，新建data文件夹，在data文件夹下新建DOTA文件夹，将标注好的数据放到DOTA文件夹下
2. 标签格式转换
新建voc2dota.py文件，将xml标签转换为DOTA的标签，注意代码中的图片和标签地址，以及图片格式，根据实际情况自行修改
# 将xml格式的标签转化为txt格式，并输出标注好的图片
import os
import xml.etree.ElementTree as ET
import math
import cv2 as cv
def voc_to_dota(xml_path, xml_name):
txt_name = xml_name[:-4] + '.txt'
txt_path = xml_path[:-4] + '/txt_label'
if not os.path.exists(txt_path):
os.makedirs(txt_path)
txt_file = os.path.join(txt_path, txt_name)
file_path = os.path.join(xml_path, file_list[i])
tree = ET.parse(os.path.join(file_path))
root = tree.getroot()
# print(root[6][0].text)
image_path = '../data/DOTA/images/'
out_path = '../data/DOTA/outputImg/'
filename = image_path + xml_name[:-4] + '.Jpeg'
img = cv.imread(filename)
with open(txt_file, "w+", encoding='UTF-8') as out_file:
# out_file.write('imagesource:null' + '\n' + 'gsd:null' + '\n')
for obj in root.findall('object'):
name = obj.find('name').text
difficult = obj.find('difficult').text
# print(name, difficult)
robndbox = obj.find('robndbox')
cx = float(robndbox.find('cx').text)
cy = float(robndbox.find('cy').text)
w = float(robndbox.find('w').text)
h = float(robndbox.find('h').text)
angle = float(robndbox.find('angle').text)
# print(cx, cy, w, h, angle)
p0x, p0y = rotatePoint(cx, cy, cx - w / 2, cy - h / 2, -angle)
p1x, p1y = rotatePoint(cx, cy, cx + w / 2, cy - h / 2, -angle)
p2x, p2y = rotatePoint(cx, cy, cx + w / 2, cy + h / 2, -angle)
p3x, p3y = rotatePoint(cx, cy, cx - w / 2, cy + h / 2, -angle)
# 找最左上角的点
dict = {p0y:p0x, p1y:p1x, p2y:p2x, p3y:p3x}
list = find_topLeftPopint(dict)
#print((list))
if list[0] == p0x:
list_xy = [p0x, p0y, p1x, p1y, p2x, p2y, p3x, p3y]
elif list[0] == p1x:
list_xy = [p1x, p1y, p2x, p2y, p3x, p3y, p0x, p0y]
elif list[0] == p2x:
list_xy = [p2x, p2y, p3x, p3y, p0x, p0y, p1x, p1y]
else:
list_xy = [p3x, p3y, p0x, p0y, p1x, p1y, p2x, p2y]
# 在原图上画矩形 看是否转换正确
cv.line(img, (int(list_xy[0]), int(list_xy[1])), (int(list_xy[2]), int(list_xy[3])), color=(255, 0, 0), thickness=3)
cv.line(img, (int(list_xy[2]), int(list_xy[3])), (int(list_xy[4]), int(list_xy[5])), color=(0, 255, 0), thickness= 3)
cv.line(img, (int(list_xy[4]), int(list_xy[5])), (int(list_xy[6]), int(list_xy[7])), color=(0, 0, 255), thickness = 2)
cv.line(img, (int(list_xy[6]), int(list_xy[7])), (int(list_xy[0]), int(list_xy[1])), color=(255, 255, 0), thickness = 2)
cv.imwrite(out_path + xml_name[:-4] + '.Jpeg', img)
data = str(list_xy[0]) + " " + str(list_xy[1]) + " " + str(list_xy[2]) + " " + str(list_xy[3]) + " " + \
str(list_xy[4]) + " " + str(list_xy[5]) + " " + str(list_xy[6]) + " " + str(list_xy[7]) + " "
data = data + name + " " + difficult + "\n"
out_file.write(data)
def find_topLeftPopint(dict):
dict_keys = sorted(dict.keys()) # y值
temp = [dict[dict_keys[0]], dict[dict_keys[1]]]
minx = min(temp)
if minx == temp[0]:
miny = dict_keys[0]
else:
miny = dict_keys[1]
return [minx, miny]
# 转换成四点坐标
def rotatePoint(xc, yc, xp, yp, theta):
xoff = xp - xc
yoff = yp - yc
cosTheta = math.cos(theta)
sinTheta = math.sin(theta)
pResx = cosTheta * xoff + sinTheta * yoff
pResy = - sinTheta * xoff + cosTheta * yoff
# pRes = (xc + pResx, yc + pResy)
# 保留一位小数点
return float(format(xc + pResx, '.1f')), float(format(yc + pResy, '.1f'))
# return xc + pResx, yc + pResy
if __name__ == '__main__':
root_path = '../data/DOTA/xml'
file_list = os.listdir(root_path)
for i in range(0, len(file_list)):
if ('.xml' in file_list[i]) or ('.XML' in file_list[i]):
voc_to_dota(root_path, file_list[i])
print('----------------------------------------{}{}----------------------------------------'
.format(file_list[i], ' has Done!'))
else:
print(file_list[i] + ' is not xml file')
运行成功后，会生成txt_label文件
3. 可视化数据集
tools/misc/browse_dataset.py帮助用户浏览检测的数据集（包括图像和检测框的标注），或将图像
保存到指定目录，指令形式如下：
python tools/misc/browse_dataset.py ${CONFIG} [-h] [–skip-type ${SKIP_TYPE[SKIP_TYPE.
,→..]}] [–output-dir ${OUTPUT_DIR}] [–not-show] [–show-interval ${SHOW_INTERVAL}]
python tools/misc/browse_dataset.py configs/s2anet/s2anet_r50_fpn_1x_dota_le135.py --output-dir out运行成功后，在mmrotate/out文件下可以看到标注好的图片，以检验转换是否成功
4. 数据集裁剪
将上述数据集分成 train、test、val 、trainval等几部分（我是手动划分的：train 80%，test 10%，val 10%）以便于训练，其中每个部分的文件夹下都包含有 images(图像) 和 labelTxt(对应的txt标签)
将 train、test、val 中的图片进行裁剪，在mmrotate/tools/data/dota/split/ 路径下img_split.py文件(裁剪脚本) 以及 mmrotate/tools/data/dota/split/split_configs/ 路径下的配置文件，其文件内容就是img_split.py的配置信息，我们需要修改其中的参数，让其加载上述的train、test、val中的图像及标签，并进行裁剪，以ss_train.json为例，需要修改的地方有图片地址，标签地址，分割后保存地址，以及保存图片的格式（若按照前面的操作设置文件名，则无需进行修改，只需要注意图片格式），ss_test.json和ss_val.json的修改同理
修改完上述文件后，运行如下指令，进行数据裁剪：
python tools/data/dota/split/img_split.py --base-json tools/data/dota/split/split_configs/ss_train.json
python tools/data/dota/split/img_split.py --base-json tools/data/dota/split/split_configs/ss_test.json
python tools/data/dota/split/img_split.py --base-json tools/data/dota/split/split_configs/ss_val.json
python tools/data/dota/split/img_split.py --base-json tools/data/dota/split/split_configs/ss_trainval.json裁剪完后的数据集路径为mmrotate/data/split_ss_dota，结果如下：
三、 修改配置文件
数据集准备好之后，接下来，需要修改训练相关的配置信息：
1. 修改classes
以s2anet_r50_fpn_1x_dota_le135.py为例，将其中的num_classes=15改成num_classes=1（根据自己数据集的类别数量进行修改）
同时，修改 mmrotate/mmrotate/datasets/dota.py 文件中的类别名称，注意只有一个类别时不要去掉逗号，修改图像数据集的后缀
最后，修改训练使用的数据集路径：找到并打开 mmrotate/configs/_base_/datasets/dotav1.py 文件，修改其中的 data_root 路径为自己裁剪的数据集路径
上述配置完成后即可训练，即可进行训练，其他可进行修改的地方如下：
2. 修改训练参数
修改线程数、batch_size和测试集标签路径(mmrotate/configs/base/datasets/dotav1.py)
修改训练epoches(mmrotate/configs/_base_/schedules/schedule_1x.py)
注意：有的模型修改schedule_1x.py无效，因为其在继承了schedule_1x.py后进行了改写，例如，oriented_reppoints_r50_fpn_40e_dota_ms_le135.py里对上述参数已进行了设置，用此模型进行训练，只能在oriented_reppoints_r50_fpn_40e_dota_ms_le135.py中修改相应参数，而修改schedule_1x.py无效
修改模型训练的日志打印和load from加载预训练模型（configs/_base_/default_runtime.py），此处特别容易犯错，更换网络进行训练一定要及时替换相应的预训练模型，log_config封装了多个记录器挂钩，并允许设置间隔。现在MMCV支持WandbLoggerHook, MlflowLoggerHook和TensorboardLoggerHook。详细用法可以在官方文档中找到。
四、训练并测试
1. 训练
python tools/train.py ${CONFIG_FILE} [optional arguments]
–work_dir ${YOUR_WORK_DIR}
训练主要有两个参数： config：使用的模型文件 ； – -work-dir：训练得到的模型及配置信息保存的路径，新建如下路径work-dir/run/s2anet/保存训练结果，输入以下指令进行训练
python tools/train.py configs/s2anet/s2anet_r50_fpn_1x_dota_le135.py --work-dir work-dir/run/s2anet/
2. 测试
python tools/test.py ${CONFIG_FILE} ${CHECKPOINT_FILE} [optional arguments]
测试主要有三个参数： config：使用的模型文件 ；checkpoint：训练得到的模型权重文件; –show-dir：预测结果存放的路径。新建如下路径work-dir/run/s2anet/保存测试结果，输入以下指令进行测试
python tools/test.py configs/s2anet/s2anet_r50_fpn_1x_dota_le135.py work-dir/run/s2anet/latest.pth --show-dir work-dir/output/s2anet/ --eval mAP
运行报错，然后查看了一下test数据集，发现标签文件为空
然后查看mmrotate/tools/data/dota/split/split_configs/ss_test.json文件，会发现没有标签文件路径，这就是造成上述现象的原因（DOTA数据集是在线验证，本地没有标签也可以检测训练效果，自行标注的数据集是离线验证，没有标签无法检测训练效果）
解决办法是在ss_test.json文件中添加上路径，重新进行原数据的分割，或者修改mmrotate/configs/_base_/datasets/dotav1.py为测试集的路径为验证集或训练集路径
然后再输入指令，可得到测试结果，更多测试操作见官方文档
python tools/test.py configs/s2anet/s2anet_r50_fpn_1x_dota_le135.py work-dir/run/s2anet/latest.pth --show-dir work-dir/output/s2anet/ --eval mAP
3. 预测
测试是为了检验训练效果，得到mAP、FPS等指标，进行模型性能评价，而预测则是将训练好的模型进行部署应用。输入以下指令进行单张图片的预测：
python ./demo/image_demo.py ./demo/00008.Jpeg ./configs/s2anet/s2anet_r50_fpn_1x_dota_le135.py ./work-dir/run/s2anet/latest.pth --out-file ./demo/result.Jpeg要想实现文件夹下多张图片或者视频的预测，可以参考mmdection的相关资料对demo.py进行修改。
五、总结
上述是我以S2A为例从环境配置到训练自己的数据集全过程，在实际使用中，如果自己的图片尺寸不是特别大，可以跳过裁剪步骤，直接进行训练。
参考资料
Welcome to MMRotate’s documentation! — mmrotate 文档https://mmrotate.readthedocs.io/zh_CN/latest/
复现 S2ANet RTX 2080Tihttp://t.csdn.cn/vwruC
