首页 文章详情

手把手教你使用OpenCV,ONNXRuntime部署yolov5旋转目标检测

极市平台 | 243 2022-05-15 22:32 0 0 0
UniSMS (合一短信)
↑ 点击蓝字 关注极市平台

作者丨王博,极视角科技算法研究员
编辑丨极市平台

极市导读

 

本文从旋转角度、旋转角度的余弦值、不规则四边形的目标检测三个方向讲述了模型需要注意的细节,并附有代码链接。 >>加入极市CV技术交流群,走在计算机视觉的最前沿

1.学习旋转角度

在无人机/遥感目标检测领域,拍摄到的物体通常是,如下图中红色矩形框里的飞机,这是用ultralytics/yolov5检测到的目标,很明显水平矩形检测框在检测旋转目标时,检测框里包含了无关背景区域,因此ultralytics/yolov5检测旋转目标,不是一个理想的解决方案。

在ultralytics/yolov5的检测头里添加一个学习旋转角度angle的分支,考虑到旋转角度是分布在0到180度之内的一个整数值,因此把旋转角度angle做为一个分类问题来学习。

这时模型输出的每一个候选检测框里的信息是 x,y,w,h,box_score,class_score,angle_score 这种形式的,其中x,y,w,h表示检测框的中心点坐标,宽度和高度,box_score表示检测框的置信度,class_score表示类别置信度,假如在coco数据集上训练的,coco数据集里有80个类别,那么class_score是一个长度为80的数组,它里面第i个元素表示第i个类别的置信度。angle_score表示倾斜角度的置信度,它是一个长度为180的数组,它里面第i个元素表示检测矩形框的倾斜角等于i度的置信度。那么这时检测框里包含信息的长度是5+80+180=265,这就使得yolov5的检测头里的最后3个1x1卷积的输出通道数也别大,这时无疑会增大模型的计算量。

我在github发布了一套分别使用OpenCV,ONNXRuntime部署yolov5旋转目标检测的demo程序,分别包含C++和Python两个版本的程序。程序输出矩形框的中心点坐标(x, y),矩形框的高宽(h, w),矩形框的倾斜角,源码地址是:https://github.com/hpc203/rotate-yolov5-opencv-onnxrun

在编写后处理NMS函数时,需要注意的一个问题是用C++编程实现计算两个旋转矩形框的重叠面积,实现细节可以参考源码。

程序读取一张C++程序的运行结果图

2.学习旋转角度的余弦值

在第1部分里讲到学习旋转角度会存在的一个问题是:由于旋转角度是分布在0到180度之内的一个整数值,也就是说有180种取值的可能,把旋转角度作为一个分类任务,会使得yolov5的检测头里的最后3个1x1卷积的输出通道数也别大,这时会增大模型的计算量。注意到角度的余弦值是分布在-1到1之间的小数值,那么可以考虑学习旋转角度的余弦值和正弦值。如下图所示:

损失函数是SmoothL1Loss,示意图如下:

这时,模型输出的每个候选框里包含的信息是x,y,w,h, cos,sin, box_score,class_score这种形式的,其中cos表示检测矩形框的倾斜角的余弦值,sin表示检测矩形框的倾斜角的正弦值。假如在coco数据集上训练的,那么这时候选框的长度是4+2+1+80=87,很明显这时模型的计算量会减少很多。

程序输出矩形框的中心点坐标(x, y),矩形框的高宽(h, w),矩形框的倾斜角的余弦值和正弦值的GitHub源码地址:https://github.com/hpc203/rotateyolov5-opencv-onnxrun

程序读取一张航拍图片的C++程序的运行结果图

3.不规则四边形的目标检测

最近在极市平台的打榜项目里有车牌识别项目,项目里要求检测车牌的4个角点。可以仿照第1部分里的思路,在ultralytics/yolov5的检测头里添加一个学习四个角点的分支,这时,模型输出的每个候选框里包含的信息是 x,y,w,h, box_score, x1,y1,x2,y2,x3,y3,x4,y4, class_score这种形式,其中x1,y1,x2,y2,x3,y3,x4,y4表示4个角点的坐标值x和y。这时候的模型就能满足项目的需求,但是注意到水平矩形框的位置信息x,y,w,h在项目里并没有起作用,因此水平矩形框的位置信息是一个冗余的信息。

接着对模型继续做修改,使模型输出的是x1,y1,x2,y2,x3,y3,x4,y4,box_score,class_score,也就是去掉box分支,这时可以减小模型体积,减少计算量。修改的地方在yolov5的检测头和loss函数,图解如下:

(1).build_targets函数和检测头Detect

(2). 4个角点逆时针排序

(3). polygon box loss

程序输出不规则四边形的4个角点的坐标x,y的源码地址:https://github.com/hpc203/polygonyolov5-opencv-onnxrun

在编写后处理NMS函数时,一个棘手的问题是计算不规则四边形的面积,计算两个不规则四边形的重叠面积。如果是编写Python程序,可以直接调用shapely库解决,如果是编写C++程序,那就比较棘手了,C++编程实现的细节可以参考源码。

读取一张航拍图片的C++程序的运行结果图

为了便于直观理解第2节里的旋转目标检测和第3节里的不规则四边形目标检测,它们的差异,图解如下:


公众号后台回复“CVPR 2022”获取论文合集打包下载~

△点击卡片关注极市平台,获取最新CV干货
极市干货
数据集资源汇总:90+深度学习开源数据集整理|包括目标检测、工业缺陷、图像分割等多个方向
实操教程Pytorch - 弹性训练极简实现( 附源码)PyTorch常用代码段合集
CVPR 2022:CVPR'22 最新132篇论文分方向整理CVPR'22 最新106篇论文分方向整理一文看尽 CVPR 2022 最新 20 篇 Oral 论文


CV技术社群邀请函 #

△长按添加极市小助手
添加极市小助手微信(ID : cvmart4)

备注:姓名-学校/公司-研究方向-城市(如:小极-北大-目标检测-深圳)


即可申请加入极市目标检测/图像分割/工业检测/人脸/医学影像/3D/SLAM/自动驾驶/超分辨率/姿态估计/ReID/GAN/图像增强/OCR/视频理解等技术交流群


每月大咖直播分享、真实项目需求对接、求职内推、算法竞赛、干货资讯汇总、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企视觉开发者互动交流~


觉得有用麻烦给个在看啦~  
good-icon 0
favorite-icon 0
收藏
回复数量: 0
    暂无评论~~
    Ctrl+Enter