CVPR 2020 |用于3D目標(biāo)檢測的層級圖網(wǎng)絡(luò)

2020-09-01 11:44

GU－net

本文設(shè)計了一個下采樣模塊，并將其重復(fù)堆疊 4 次以形成下采樣路徑，而將一個上采樣模塊重復(fù)堆疊兩次以構(gòu)成上采樣方式。類似 FPN、GU－net 生成三張點特征圖的特征金字塔。下采樣使用的是 FPS，然后通過KNN構(gòu)建局部區(qū)域，再使用 SA－GConv 更新特征，上采樣模塊的過程與下采樣模塊的過程相反，主要由 SA－GConv 執(zhí)行。

候選生成器

GU－net 生成了包含多級語義的三張點特征圖。一些先前的方法（如 VoteNet）僅使用一個特征圖進(jìn)行目標(biāo)預(yù)測。即使通過在上采樣過程中融合較低層的特征來計算較高層的特征，由于不同層的特征提供了各種語義，因此將多層特征一起用于候選生成會更加有益。本文提出了一種候選生成器，以改進(jìn)的投票模塊作為主要結(jié)構(gòu)來預(yù)測對象中心，該模型將多級特征轉(zhuǎn)換為相同的特征空間。接下來為了聚合特征，通過 FPS 保留 Np 的投票，該做法與 VoteNet 類似，從而融合多級特征以預(yù)測邊界框及其類別。

候選推理模塊

通過以上幾步，多層局部的語義信息已經(jīng)被很好的捕捉到了，但全局信息還沒有很好的學(xué)到，或者說可能有些目標(biāo)在點云中只體現(xiàn)出很小的一部分表面的點，在這樣少的信息下很難正確的將其識別出來。其推理過程為：

其中 Hp 表示候選特征 tensor，P 表示候選的相對位置

論文實驗

本文在 SUN RGB－D 和 ScanNet－V2 兩個數(shù)據(jù)集上進(jìn)行了實驗。

此外，本文還進(jìn)行了消融實驗以證明各模快的有效性。

結(jié)論

本文提出了一種新穎的 HGNet 框架，該框架通過層級圖建模學(xué)習(xí)語義。

具體來說，作者提出了一種新穎且輕巧的形狀注意圖卷積來捕獲局部形狀語義，該語義聚合了點的相對幾何位置的特征。基于 SA－GConv 和 SA－DeGConv 構(gòu)建了 GU－net，生成了包含多級語義的特征金字塔。要素金字塔投票的點將位于相應(yīng)的對象中心，并且進(jìn)一步聚合多級語義以生成候選。然后使用 ProRe 模塊在候選之間合并和傳播特征，從而利用全局場景語義來提高檢測性能。最后，對邊界框和類別進(jìn)行了預(yù)測。

<上一頁 1 2