ICRA 2020 | 行人軌跡預(yù)測(cè)競賽冠軍方案總結(jié)

2020-07-30 14:50

行人軌跡預(yù)測(cè)問題是無人駕駛技術(shù)的重要一環(huán)，已成為近年來的一項(xiàng)研究熱點(diǎn)。在機(jī)器人領(lǐng)域國際頂級(jí)會(huì)議ICRA 2020上，美團(tuán)無人配送團(tuán)隊(duì)從一百多支隊(duì)伍中脫穎而出，在行人軌跡預(yù)測(cè)競賽中奪得第一名。本文系對(duì)該預(yù)測(cè)方法的一些經(jīng)驗(yàn)總結(jié)，希望能對(duì)大家有所幫助或啟發(fā)。

一、背景

6月2日，國際頂會(huì)ICRA 2020舉辦了“第二屆長時(shí)人類運(yùn)動(dòng)預(yù)測(cè)研討會(huì)”，該研討會(huì)由博世有限公司、厄勒布魯大學(xué)、斯圖加特大學(xué)、瑞士洛桑聯(lián)邦理工聯(lián)合組織。同時(shí)在該研討會(huì)上，還舉辦了一項(xiàng)行人軌跡預(yù)測(cè)競賽，吸引了來自世界各地的104支隊(duì)伍參賽。美團(tuán)無人配送團(tuán)隊(duì)通過采用“世界模型”的交互預(yù)測(cè)方法，奪得了該比賽的第一名。

圖1 ICRA 2020 TrajNet++軌跡預(yù)測(cè)競賽

圖1 ICRA 2020 TrajNet＋＋軌跡預(yù)測(cè)競賽

二、賽題簡介

本次競賽提供了街道、出入口、校園等十個(gè)復(fù)雜場景下的行人軌跡數(shù)據(jù)集，要求參賽選手根據(jù)這些數(shù)據(jù)集，利用行人在過去3．6秒的軌跡來預(yù)測(cè)其在未來4．8秒的運(yùn)行軌跡。競賽使用FDE（預(yù)測(cè)軌跡和真實(shí)軌跡的終點(diǎn)距離）來對(duì)各種算法進(jìn)行排名。

本次的賽題數(shù)據(jù)集，主要來源于各類動(dòng)態(tài)場景下的真實(shí)標(biāo)注數(shù)據(jù)和模擬合成數(shù)據(jù)，采集頻率為2．5赫茲，即兩個(gè)時(shí)刻之間的時(shí)間差為0．4秒。數(shù)據(jù)集中的行人軌跡都以固定坐標(biāo)系下的時(shí)序坐標(biāo)序列表示，并且根據(jù)行人的周圍環(huán)境，這些軌跡被分類成不同的類別，例如靜態(tài)障礙物、線性運(yùn)動(dòng)、追隨運(yùn)動(dòng)、避障行為、團(tuán)體運(yùn)動(dòng)等。在該比賽中，參賽隊(duì)伍需要根據(jù)每個(gè)障礙物歷史9個(gè)時(shí)刻的軌跡數(shù)據(jù)（對(duì)應(yīng)3．6秒的時(shí)間）來預(yù)測(cè)未來12個(gè)時(shí)刻的軌跡（對(duì)應(yīng)4．8秒的時(shí)間）。

該競賽采用多種評(píng)價(jià)指標(biāo)，這些評(píng)價(jià)指標(biāo)分別對(duì)單模態(tài)預(yù)測(cè)模型和多模態(tài)預(yù)測(cè)模型進(jìn)行評(píng)價(jià)。單模態(tài)模型是指給定確定的歷史軌跡，預(yù)測(cè)算法只輸出一條確定的軌跡；而多模態(tài)模型則會(huì)輸出多條可行的軌跡（或者分布）。本次競賽的排名以單模態(tài)指標(biāo)中的FDE指標(biāo)為基準(zhǔn)。

三、方法介紹

其實(shí)，美團(tuán)在很多實(shí)際業(yè)務(wù)中經(jīng)常要處理行人軌跡預(yù)測(cè)問題，而行人軌跡預(yù)測(cè)的難點(diǎn)在于如何在動(dòng)態(tài)復(fù)雜環(huán)境中，對(duì)行人之間的社交行為進(jìn)行建模。因?yàn)樵趶?fù)雜場景中，行人之間的交互非常頻繁并且交互的結(jié)果將會(huì)直接影響他們后續(xù)的運(yùn)動(dòng)（例如減速讓行、繞行避障、加速避障等）。

基于各類帶交互數(shù)據(jù)集，一系列的算法被相繼提出，然后對(duì)障礙物進(jìn)行交互預(yù)測(cè)，這些主流模型的工作重心都是針對(duì)復(fù)雜場景下行人之間的交互進(jìn)行建模。常用的方法包括基于LSTM的交互算法（SR LSTM［1］、Social GAN［2］、SoPhie［3］、Peeking into［4］、StarNet［5］等），基于Graph／Attention的交互算法（GRIP［6］、Social STGCNN［7］、STGAT［8］、VectorNet［9］等），以及基于語義地圖／原始數(shù)據(jù)的預(yù)測(cè)算法等。

我們本次的參賽方法就是由自研算法［10］（如圖2所示）改進(jìn)而來，該方法的設(shè)計(jì)思路是根據(jù)場景中所有障礙物的歷史軌跡、跟蹤信息以及場景信息，建立并維護(hù)一個(gè)全局的世界模型來挖掘障礙物之間、障礙物與環(huán)境之間的交互特性。然后，再通過查詢世界模型來獲得每個(gè)位置鄰域內(nèi)的交互特征，進(jìn)而來指導(dǎo)對(duì)障礙物的預(yù)測(cè)。

圖2 基于世界模型的預(yù)測(cè)算法