BEV是如何讓自動駕駛汽車“看”得更遠(yuǎn)的？

2026-01-26 13:40

在自動駕駛領(lǐng)域，經(jīng)常會聽到BEV相關(guān)的技術(shù)討論。BEV是Bird’s Eye View的縮寫，中文譯為“鳥瞰視角”或“俯視圖”。簡單理解它的含義，就是把攝像頭、激光雷達(dá)、毫米波雷達(dá)或地圖信息，統(tǒng)一映射到同一張以車為中心或者以世界坐標(biāo)為基準(zhǔn)的平面上，自動駕駛系統(tǒng)會像站在空中俯瞰一樣，同時看到車周圍所有物體的位置、車道線以及靜態(tài)障礙物和動態(tài)交通參與者的分布。BEV能把三維的感知問題轉(zhuǎn)換成二維的空間推理問題，方便把感知、預(yù)測、規(guī)劃等耦合在一起，從而提升自動駕駛的安全性。

BEV作為一種中間表示（representation），其強(qiáng)調(diào)空間一致性。不管信息來自哪種傳感器、時間上如何變化，最后都可以放到同一個平面與同一坐標(biāo)系下去表示。對于自動駕駛系統(tǒng)來說，統(tǒng)一視角帶來的直觀好處是很明顯的，規(guī)劃器可以直接在地圖樣式的平面上找可通行區(qū)域、預(yù)測模塊可以基于統(tǒng)一坐標(biāo)去估算軌跡、感知模塊的輸出更容易被后一層模塊消費，從而構(gòu)建起端到端更流暢的工作流。

BEV的技術(shù)架構(gòu)與實現(xiàn)要點

要將傳感器數(shù)據(jù)變成可用的BEV表示，需要經(jīng)過一系列的技術(shù)步驟，涉及到傳感器編碼、視角轉(zhuǎn)換與對齊、特征融合與BEV編碼、時序處理和任務(wù)頭（例如檢測、語義分割、軌跡預(yù)測、占據(jù)網(wǎng)格輸出等）等幾大關(guān)鍵模塊。這些步驟會因傳感器組合（純視覺、視覺+雷達(dá)、視覺+激光雷達(dá)等）不同而有所差異，但總體思路類似。

在純攝像頭的方案里，先把每個攝像頭的圖像經(jīng)過一個特征提取網(wǎng)絡(luò)（例如卷積神經(jīng)網(wǎng)絡(luò)或視覺變換器）得到高維特征圖。然后就是把這些視角特征“投影”到俯視平面上。實現(xiàn)純攝像頭的BEV最簡單的投影方式是基于幾何變換，如通過相機(jī)內(nèi)外參和一個深度估計模塊，將像素點反投影為三維點，再把這些點按照地面坐標(biāo)投影到平面上，形成BEV的特征投影圖。還有一些技術(shù)方案會在像素到BEV的映射中引入可學(xué)習(xí)的模塊，這些模塊可以在訓(xùn)練中學(xué)習(xí)如何把不同視角、多尺度的特征以最合適的方式聚合到BEV網(wǎng)格中，從而緩解直接幾何投影帶來的空洞或誤差。

在帶有激光雷達(dá)的系統(tǒng)中，實現(xiàn)BEV的方式把LiDAR的點云先投影到BEV網(wǎng)格（通常稱為鳥瞰柵格），并把點云的強(qiáng)度、點數(shù)、最大/最小高度等信息編碼成每個網(wǎng)格單元的特征。激光雷達(dá)提供的深度信息本身就很準(zhǔn)確，這使得BEV表示的定位精度更高、占據(jù)估計會更可靠。

毫米波雷達(dá)會提供稀疏但有用的速度信息，它能補(bǔ)充BEV中的動態(tài)信息。毫米波雷達(dá)的回波可以投影到BEV網(wǎng)格，用作速度場估計或作為輔助特征。BEV的實現(xiàn)關(guān)鍵在于坐標(biāo)變換的精度、多傳感器間的時間對齊、以及如何在BEV網(wǎng)格上高效表示語義和運動信息。

在BEV的網(wǎng)絡(luò)架構(gòu)內(nèi)部，常用組件有BEVencoder（對BEV網(wǎng)格做進(jìn)一步卷積/變換以增加感受野和語義聚合）、跨時間融合模塊（把多個時間步的BEV特征融合起來以獲得運動線索）、以及若干任務(wù)頭（用于輸出檢測框、分割掩碼、占用概率、軌跡預(yù)測等）。時序上需要考慮ego-motion（自車運動）的補(bǔ)償，也就是說在融合不同時間步信息前，必須把以往幀的BEV特征逆向轉(zhuǎn)換到當(dāng)前坐標(biāo)系，避免特征因車輛運動而錯位。

BEV對自動駕駛系統(tǒng)的影響與優(yōu)勢

BEV作為一種“面向空間”的表示，可以讓規(guī)劃器在同一張圖上進(jìn)行可通行區(qū)域的搜索、障礙物避讓和軌跡生成。相比于處理多個感知框或不同相機(jī)視角的原始輸出，使用BEV后，規(guī)劃模塊面對的是一張有語義、有占據(jù)概率、且以精確坐標(biāo)標(biāo)注的地圖式數(shù)據(jù)，設(shè)計會變得更直觀，耦合度更低。

BEV也更利于多傳感器融合。相機(jī)擅長識別語義（行人、車道線、交通標(biāo)志），LiDAR擅長提供幾何和精確距離，毫米波雷達(dá)擅長速度測量。把這些信息都投影到同一個BEV網(wǎng)格后，融合的方式就會從“跨傳感器的復(fù)雜特征對齊”變成“在統(tǒng)一空間上做通道或注意力融合”，更容易保證一致性并減少信息丟失。這樣的統(tǒng)一表示也便于把地圖（包括高精地圖或矢量地圖）與實時感知對齊，用來校正感知結(jié)果或約束規(guī)劃輸出。

BEV還有利于端到端或大模型思路的推進(jìn)。在BEV上訓(xùn)練的網(wǎng)絡(luò)可以同時輸出檢測、分割、軌跡預(yù)測等多個任務(wù)，且這些任務(wù)共享相同的空間表示，這使得多任務(wù)學(xué)習(xí)效果會更好、參數(shù)共享能更高效。對于想把決策和控制也盡量靠近感知端做聯(lián)合優(yōu)化的研究路線，BEV提供了天然的中間層接口，使得“從感知到軌跡”的聯(lián)合訓(xùn)練變得可行。

BEV更提升了對復(fù)雜交通場景的處理能力。復(fù)雜交叉口、多車道并線、環(huán)形交叉以及多模態(tài)行為的預(yù)測，都需要對空間關(guān)系和動態(tài)演化做長時間尺度的推理。BEV可以很方便地在空間上展示交互關(guān)系，舉個例子，即便某輛車被另一輛車遮擋，但在BEV上仍然可以通過軌跡歷史和速度場推斷其大致位置，從而為預(yù)測模塊提供更多上下文信息。

BEV還有利于系統(tǒng)調(diào)試與可視化。工程師在開發(fā)或回放時可以直接看到BEV圖像，判斷識別錯誤是因為深度估計錯誤、投影誤差還是傳感器校準(zhǔn)問題。這種可視化的直觀性極大加速了開發(fā)和問題定位流程。

限制、挑戰(zhàn)以及未來發(fā)展方向

BEV最大的一個挑戰(zhàn)來自于純視覺BEV的深度與尺度不確定性。單目相機(jī)本身缺乏精確深度信息，把像素特征投影到平面上需要可靠的深度估計或假設(shè)地面平面，這在有坡道、橋梁或者復(fù)雜立體交通結(jié)構(gòu)的場景下容易出錯。為了解決這一問題，會采用稠密深度估計、結(jié)構(gòu)光或引入LiDAR輔助，或者在網(wǎng)絡(luò)中加入可學(xué)習(xí)的視變換模塊以降低幾何誤差。

BEV的另一個挑戰(zhàn)是分辨率與計算資源的平衡。把周邊環(huán)境以高分辨率網(wǎng)格編碼，會增加內(nèi)存和計算壓力；但分辨率過低又會損失對小目標(biāo)（如行人、兒童騎車人）的識別能力。在設(shè)計時需要在BEV網(wǎng)格大小、特征通道數(shù)、時間步數(shù)之間做選擇，還要考慮實時性與延遲對控制安全的影響。

多傳感器的時序和空間對齊也是BEV應(yīng)用中的一大難題。攝像頭幀率、LiDAR點云率、雷達(dá)回波率各不相同，且每個傳感器都有自己的時延和抖動。把它們正確地同步、補(bǔ)償并映射到同一BEV網(wǎng)格，需要準(zhǔn)確的時間戳、精確的外參和魯棒的運動補(bǔ)償機(jī)制。任何一個環(huán)節(jié)的微小誤差，在BEV上都可能累積成較大的位置偏移，影響下游規(guī)劃。

想訓(xùn)練一個魯棒的BEV模型，對數(shù)據(jù)標(biāo)注和訓(xùn)練樣本也提出了極高要求。不僅需要海量多傳感器數(shù)據(jù)在長時間尺度上的配合，其標(biāo)簽還必須與BEV空間中的網(wǎng)格精確對齊。此類標(biāo)注的成本十分高昂，而為了確保模型的泛化能力，還需覆蓋夜間、雨雪、隧道等各類長尾場景，這會導(dǎo)致數(shù)據(jù)分布偏差問題尤為突出。為應(yīng)對這些挑戰(zhàn)，基于模擬器的數(shù)據(jù)生成以及弱監(jiān)督、自監(jiān)督學(xué)習(xí)已成為重要的補(bǔ)充方向。但如何將模擬環(huán)境中訓(xùn)練的成果無縫遷移到真實世界場景中，目前仍是亟待突破的難點。

最后的話

BEV是當(dāng)前自動駕駛感知與決策鏈路中非常實用且被廣泛采納的一種空間表示。它用統(tǒng)一的平面視角把多模態(tài)、多時間的信息粘合在一起，使得很多復(fù)雜的交通場景推理變得更加可控和直觀。

-- END --

原文標(biāo)題 : BEV是如何讓自動駕駛汽車“看”得更遠(yuǎn)的？