用Python和OpenCV為對(duì)象檢測(cè)任務(wù)實(shí)現(xiàn)最流行、最高效的數(shù)據(jù)擴(kuò)充

2021-12-15 10:41

磐創(chuàng)AI

關(guān)注

數(shù)據(jù)擴(kuò)充是一種增加數(shù)據(jù)集多樣性的技術(shù)，無(wú)需收集更多真實(shí)數(shù)據(jù)，但仍有助于提高模型精度并防止模型過(guò)擬合。

在本文中，你將學(xué)習(xí)使用Python和OpenCV為對(duì)象檢測(cè)任務(wù)實(shí)現(xiàn)最流行、最高效的數(shù)據(jù)擴(kuò)充過(guò)程。

即將引入的一組數(shù)據(jù)擴(kuò)充方法包括：

1．隨機(jī)裁剪

2．Cutout

3．顏色抖動(dòng)

4．增加噪音

5．過(guò)濾

首先，在繼續(xù)之前，讓我們導(dǎo)入幾個(gè)庫(kù)并準(zhǔn)備一些必要的子例程。

import os

import cv2

import numpy as np

import random

def file＿lines＿to＿list（path）：

＇＇＇
＃＃＃在TXT文件里的行轉(zhuǎn)換為列表＃＃＃
path：文件路徑
＇＇＇
with open（path） as f：
content ＝ f．readlines（）
content ＝［（x．strip（））．split（） for x in content］
return content

def get＿file＿name（path）：
＇＇＇
＃＃＃獲取Filepath的文件名＃＃＃
path：文件路徑
＇＇＇
basename ＝ os．path．basename（path）
onlyname ＝ os．path．splitext（basename）［0］
return onlyname

def write＿anno＿to＿txt（boxes， filepath）：
＇＇＇
＃＃＃給TXT文件寫(xiě)注釋＃＃＃
boxes： format ［［obj x1 y1 x2 y2］，．．．］
filepath：文件路徑
＇＇＇
txt＿file ＝ open（filepath，＂w＂）
for box in boxes：
print（box［0］， int（box［1］）， int（box［2］）， int（box［3］）， int（box［4］）， file＝txt＿file）
txt＿file．close（）

下面的圖片是在這篇文章中使用的示例圖片。

隨機(jī)裁剪隨機(jī)裁剪隨機(jī)選擇一個(gè)區(qū)域并進(jìn)行裁剪以生成新的數(shù)據(jù)樣本，裁剪后的區(qū)域應(yīng)具有與原始圖像相同的寬高比，以保持對(duì)象的形狀。

從上圖中，左側(cè)圖像表示具有邊界框（紅色）的原始圖像，通過(guò)裁剪橙色框內(nèi)的區(qū)域創(chuàng)建一個(gè)新樣本作為右側(cè)圖像。在新示例的注釋中，將刪除與左側(cè)圖像中的橙色框不重疊的所有對(duì)象，并細(xì)化位于橙色框邊界上的對(duì)象的坐標(biāo)，使其適合新圖像示例。原始圖像的隨機(jī)裁剪輸出為新裁剪圖像及其注釋。

Cutout

Terrance DeVries和Graham W．Taylor在2017年的論文中介紹了Cutout，它是一種簡(jiǎn)單的正則化技術(shù)，用于在訓(xùn)練過(guò)程中隨機(jī)屏蔽輸入的方塊區(qū)域，可用于提高卷積神經(jīng)網(wǎng)絡(luò)的魯棒性和整體性能。

這種方法不僅非常容易實(shí)現(xiàn)，而且還表明它可以與現(xiàn)有形式的數(shù)據(jù)擴(kuò)充和其他正則化工具結(jié)合使用，以進(jìn)一步提高模型性能。

如本文所述，剪切用于提高圖像識(shí)別（分類）的準(zhǔn)確性，因此，如果我們將相同的方案部署到對(duì)象檢測(cè)數(shù)據(jù)集中，可能會(huì)導(dǎo)致丟失對(duì)象的問(wèn)題，尤其是小對(duì)象。

在下圖中，cutout區(qū)域（黑色區(qū)域）內(nèi)的大量小對(duì)象被移除，這不符合數(shù)據(jù)擴(kuò)充的精神。

為了使這種方式適用于對(duì)象檢測(cè)，我們可以進(jìn)行簡(jiǎn)單的修改，而不是僅使用一個(gè)蒙版并將其放置在圖像中的隨機(jī)位置。當(dāng)我們隨機(jī)選擇一半數(shù)量的對(duì)象并將剪切應(yīng)用于這些對(duì)象區(qū)域時(shí)，效果會(huì)更好。增強(qiáng)圖像如下圖中的右圖所示。

剪切輸出是新生成的圖像，我們不移除對(duì)象或更改圖像大小，則生成圖像的注釋與原始圖像相同。

def cutout（img， gt＿boxes， amount＝0．5）：
＇＇＇
＃＃＃ Cutout ＃＃＃
img：圖像
gt＿boxes： format ［［obj x1 y1 x2 y2］，．．．］
amount：蒙版數(shù)量／對(duì)象數(shù)量
＇＇＇
out ＝ img．copy（）
ran＿select ＝ random．sample（gt＿boxes， round（amount＊len（gt＿boxes）））
for box in ran＿select：
x1 ＝ int（box［1］）
y1 ＝ int（box［2］）
x2 ＝ int（box［3］）
y2 ＝ int（box［4］）
mask＿w ＝ int（（x2 － x1）＊0．5）
mask＿h(yuǎn) ＝ int（（y2 － y1）＊0．5）
mask＿x1 ＝ random．randint（x1， x2 － mask＿w）
mask＿y1 ＝ random．randint（y1， y2 － mask＿h(yuǎn)）
mask＿x2 ＝ mask＿x1 ＋ mask＿w
mask＿y2 ＝ mask＿y1 ＋ mask＿h(yuǎn)
cv2．rectangle（out，（mask＿x1， mask＿y1），（mask＿x2， mask＿y2），（0， 0， 0）， thickness＝－1）
return out

顏色抖動(dòng)

ColorJitter是另一種簡(jiǎn)單的圖像數(shù)據(jù)增強(qiáng)，我們可以隨機(jī)改變圖像的亮度、對(duì)比度和飽和度。我相信這個(gè)技術(shù)很容易被大多數(shù)讀者理解。

增加噪聲在一般意義上，噪聲被認(rèn)為是圖像中的一個(gè)意外因素，然而，幾種類型的噪聲（例如高斯噪聲、椒鹽噪聲）可用于數(shù)據(jù)增強(qiáng)，在深度學(xué)習(xí)中添加噪聲是一種非常簡(jiǎn)單和有益的數(shù)據(jù)增強(qiáng)方法。在下面的示例中，為了增強(qiáng)數(shù)據(jù)，將高斯噪聲和椒鹽噪聲添加到原始圖像中。