ECCV2020 GigaVision挑戰(zhàn)賽,深蘭科技包攬十億級(jí)像素雙賽道冠軍
DeepBlueAI團(tuán)隊(duì)榮獲兩項(xiàng)第一
任務(wù)一:

任務(wù)二:

賽題特點(diǎn)
圖像分辨率極高、近景和遠(yuǎn)景目標(biāo)尺度差異大 十億像素級(jí)的超高分辨率是整個(gè)數(shù)據(jù)集的核心問題。一方面,由于計(jì)算資源的限制,超高分辨率使得網(wǎng)絡(luò)無法接受大圖作為輸入,而單純將原圖縮放到小圖會(huì)使得目標(biāo)丟失大量信息。另一方面,圖像中近景和遠(yuǎn)景的目標(biāo)尺度差異大,給檢測(cè)器帶來了巨大的挑戰(zhàn)。目標(biāo)在圖像中分布密集,并且遮擋嚴(yán)重 數(shù)據(jù)集均從廣場(chǎng)、學(xué)校、商圈等真實(shí)場(chǎng)景采集,其人流和車輛密度極大。同時(shí),行人和車輛的擁擠、遮擋等情況頻發(fā),容易造成目標(biāo)的漏檢和誤檢。
主要工作
賽道一 Pedestrian & Vehicle Detection
根據(jù)以往積累的經(jīng)驗(yàn),團(tuán)隊(duì)首先將原圖縮放到合適尺度,并使用基于Cascade RCNN的檢測(cè)器直接檢測(cè)行人的三個(gè)類別和車輛,將其作為Baseline: Backbone + DCN + FPN + Cascade RCNN,并在此基礎(chǔ)上進(jìn)行改進(jìn)。

實(shí)驗(yàn)結(jié)果顯示,模型存在大量的誤檢和漏檢。這些漏檢和無意義的檢測(cè)結(jié)果大幅降低了模型的性能。團(tuán)隊(duì)將上述問題歸納為兩方面的原因:
訓(xùn)練和測(cè)試時(shí)輸入模型的圖像尺度不合適。圖像經(jīng)過縮放后,目標(biāo)的尺度也隨之變小,導(dǎo)致遠(yuǎn)景中人的頭部等區(qū)域被大量遺漏。
網(wǎng)絡(luò)本身的分類能力較弱。行人的可見區(qū)域和全身區(qū)域十分相似,容易對(duì)分類器造成混淆,從而產(chǎn)生誤檢。
根據(jù)上述問題,團(tuán)隊(duì)進(jìn)行了一些改進(jìn)。首先,使用滑動(dòng)窗口的方式切圖進(jìn)行訓(xùn)練。滑動(dòng)窗口切圖是一種常用的大圖像處理方式, 這樣可以有效的保留圖像的高分辨率信息,使得網(wǎng)絡(luò)獲得的信息更加豐富。如果某個(gè)目標(biāo)處于切圖邊界,根據(jù)其IOF大于0.5來決定是否保留。其次,對(duì)于每個(gè)類別采用一個(gè)單獨(dú)的檢測(cè)器進(jìn)行檢測(cè)。經(jīng)過實(shí)驗(yàn)對(duì)比,對(duì)每個(gè)類別采用單獨(dú)的檢測(cè)器可以有效的提高網(wǎng)絡(luò)的效果,尤其是對(duì)于可見區(qū)域和全身區(qū)域兩類。 同時(shí)向檢測(cè)器添加了Global Context (GC) block來進(jìn)一步提高特征提取能力。GC-Block結(jié)合了Non-local的上下文建模能力,并繼承了SE-Net節(jié)省計(jì)算量的優(yōu)點(diǎn),可以有效的對(duì)目標(biāo)的上下文進(jìn)行建模。

除Cascade RCNN外,還采用了Generalize Focal Loss (GFL)檢測(cè)器進(jìn)行結(jié)果互補(bǔ)。GFL提出了一種泛化的Focal Loss損失,解決了分類得分和質(zhì)量預(yù)測(cè)得分在訓(xùn)練和測(cè)試時(shí)的不一致問題。

最后,將各檢測(cè)器的結(jié)果使用Weighted Box Fusion (WBF)進(jìn)行融合,形成了最終的解決方案。傳統(tǒng)的NMS和Soft-NMS方法會(huì)移除預(yù)測(cè)結(jié)果中的一部分預(yù)測(cè)框,而WBF使用全部的預(yù)測(cè)框,通過進(jìn)行組合來獲得更加準(zhǔn)確的預(yù)測(cè)框,從而實(shí)現(xiàn)精度提升。整體pipeline如下圖所示:

實(shí)驗(yàn)結(jié)果:

發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長度6~500個(gè)字
圖片新聞
-

落地?zé)o錫!京東首個(gè)物流機(jī)器人超級(jí)工廠來了
-

OpenAI發(fā)布的AI瀏覽器,市場(chǎng)為何反應(yīng)強(qiáng)烈?
-

馬云重返一線督戰(zhàn),阿里重啟創(chuàng)始人模式
-

機(jī)器人奧運(yùn)會(huì)戰(zhàn)報(bào):宇樹機(jī)器人摘下首金,天工Ultra搶走首位“百米飛人”
-

存儲(chǔ)圈掐架!江波龍起訴佰維,索賠121萬
-

長安汽車母公司突然更名:從“中國長安”到“辰致科技”
-

豆包前負(fù)責(zé)人喬木出軌BP后續(xù):均被辭退
-

字節(jié)AI Lab負(fù)責(zé)人李航卸任后返聘,Seed進(jìn)入調(diào)整期
最新活動(dòng)更多
-
6月30日立即申請(qǐng)?jiān)囉?> 【免費(fèi)試用】旭之源工業(yè)電源一一機(jī)器人的穩(wěn)定“心臟“
-
精彩回顧立即查看>> 【限時(shí)免費(fèi)】物理場(chǎng)仿真助力生物醫(yī)學(xué)領(lǐng)域技術(shù)創(chuàng)新
-
精彩回顧立即查看>> 【直播】 智測(cè)未來·2026海克斯康春季產(chǎn)品創(chuàng)新日
-
精彩回顧立即查看>> 【線下論壇】新唐科技×芯唐南京 2026 年度研討會(huì)
-
精彩回顧立即查看>> OFweek 2026(第十五屆)中國機(jī)器人產(chǎn)業(yè)大會(huì)
-
精彩回顧立即查看>> 維科杯· OFweek 2025中國機(jī)器人行業(yè)年度評(píng)選
推薦專題
-
2 華為,重大突破!
- 1 人形機(jī)器人“第一股”來了!宇樹科技即將上會(huì)
- 2 全球股市陷AI獨(dú)大結(jié)構(gòu)性瘋狂
- 3 AI狂歡遇上油價(jià)破百,全球股市還能漲多久? | 產(chǎn)聯(lián)看全球
- 4 DeepSeek融資500億,梁文鋒難逃資本局
- 5 谷歌2026 I/O大會(huì)完整回顧:模型依然重要,但智能體正在接管一切
- 6 全球資本,重倉中國機(jī)器人
- 7 Figure AI 交付突破350臺(tái),陪跑特斯拉會(huì)迎來iPhone 時(shí)刻嗎?
- 8 Anthropic發(fā)布2028年全球AI領(lǐng)導(dǎo)力的兩種情景報(bào)告
- 9 “國產(chǎn)GPU第一股”摩爾線程首季扭虧,但造血能力仍待考驗(yàn)
- 10 特斯拉宣布監(jiān)督版FSD登陸中國?
- 高級(jí)軟件工程師 廣東省/深圳市
- 自動(dòng)化高級(jí)工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級(jí)銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市


分享





