如何使用Python和OpenCV實(shí)現(xiàn)對(duì)象檢測(cè)任務(wù)的數(shù)據(jù)擴(kuò)充過(guò)程？

2021-03-16 09:33

＃ Modify annotation
new＿boxes＝［］
for box in gt＿boxes：
obj＿name ＝ box［0］
x1 ＝ int（box［1］）
y1 ＝ int（box［2］）
x2 ＝ int（box［3］）
y2 ＝ int（box［4］）
x1， x2 ＝ x1－x， x2－x
y1， y2 ＝ y1－y， y2－y
x1， y1， x2， y2 ＝ x1／scale， y1／scale， x2／scale， y2／scale
if （x1＜img．shape［1］ and y1＜img．shape［0］） and （x2＞0 and y2＞0）：
if x1＜0： x1＝0
if y1＜0： y1＝0
if x2＞img．shape［1］： x2＝img．shape［1］
if y2＞img．shape［0］： y2＝img．shape［0］
new＿boxes．a(chǎn)ppend（［obj＿name， x1， y1， x2， y2］）
return resized， new＿boxes
CutoutCutout是2017年由Terrance DeVries和Graham W． Taylor在他們的論文中介紹的，是一種簡(jiǎn)單的正則化技術(shù)，在訓(xùn)練過(guò)程中隨機(jī)掩蓋輸入的正方形區(qū)域，可以用來(lái)提高卷積神經(jīng)網(wǎng)絡(luò)的魯棒性和整體性能。這種方法不僅非常容易實(shí)現(xiàn)，而且表明它可以與現(xiàn)有形式的數(shù)據(jù)擴(kuò)充和其他正則化器一起使用，進(jìn)一步提高模型的性能。論文地址：https：／／arxiv．org／abs／1708．04552與本文一樣，我們使用了cutout來(lái)提高圖像識(shí)別（分類(lèi)）的精度，因此，如果我們將相同的方案部署到目標(biāo)檢測(cè)數(shù)據(jù)集中，可能會(huì)導(dǎo)致丟失目標(biāo)（特別是小目標(biāo)）的問(wèn)題。在下圖中，刪除了剪切區(qū)域（黑色區(qū)域）內(nèi)的大量小對(duì)象，這不符合數(shù)據(jù)增強(qiáng)的精神。

為了使這種方式適合對(duì)象檢測(cè)，我們可以做一個(gè)簡(jiǎn)單的修改，而不是僅使用一個(gè)遮罩并將其放置在圖像中的隨機(jī)位置，而是隨機(jī)選擇一半的對(duì)象，并將裁剪應(yīng)用于每個(gè)目標(biāo)區(qū)域，效果更佳。增強(qiáng)后的圖像如下圖所示。

Cutout的輸出是一個(gè)新生成的圖像，我們不刪除對(duì)象或改變圖像大小，那么生成的圖像的注釋就是原始注釋。def cutout（img， gt＿boxes， amount＝0．5）：
＇＇＇
＃＃＃ Cutout ＃＃＃
img： image
gt＿boxes： format ［［obj x1 y1 x2 y2］，．．．］
amount： num of masks ／ num of objects
＇＇＇
out ＝ img．copy（）
ran＿select ＝ random．sample（gt＿boxes， round（amount＊len（gt＿boxes）））
for box in ran＿select：
x1 ＝ int（box［1］）
y1 ＝ int（box［2］）
x2 ＝ int（box［3］）
y2 ＝ int（box［4］）
mask＿w ＝ int（（x2 － x1）＊0．5）
mask＿h(yuǎn) ＝ int（（y2 － y1）＊0．5）
mask＿x1 ＝ random．randint（x1， x2 － mask＿w）
mask＿y1 ＝ random．randint（y1， y2 － mask＿h(yuǎn)）
mask＿x2 ＝ mask＿x1 ＋ mask＿w
mask＿y2 ＝ mask＿y1 ＋ mask＿h(yuǎn)
cv2．rectangle（out，（mask＿x1， mask＿y1），（mask＿x2， mask＿y2），（0， 0， 0）， thickness＝－1）
return out
ColorJitterColorJitter是另一種簡(jiǎn)單的圖像數(shù)據(jù)擴(kuò)充類(lèi)型，我們隨機(jī)改變圖像的亮度、對(duì)比度和飽和度。我相信這個(gè)“家伙”很容易被大多數(shù)讀者理解。