打破次元壁！這個AI算法可以讓照片里的人跳出來

2018-12-28 09:11

還記得《哈利波特》里的“預(yù)言家日報”嗎？

《哈利波特》世界里有一種神奇的魔法報紙，報中照片上的人物可以動起來，看起來有點像 GIF 圖。在故事里這當(dāng)然是「魔法」的功勞，現(xiàn)實世界中還沒有造出這樣的報紙。不過，華盛頓大學(xué)的幾個科學(xué)家不死心，他們想用 AI 算法來讓照片中的人動起來。

這種技術(shù)叫做 Photo Wake－Up。

其實類似的嘗試之前就有人做過，把照片里的 2D 形象映射到 3D 模型上，然后讓它們動起來。不過結(jié)果嘛，像是行尸走肉。

因為 2D 形象都是從某一個固定角度去看的，用 3D 模型的標(biāo)準(zhǔn)去控制，會出現(xiàn)不匹配的情況。更不用說畢加索畫里的人，根本沒有一個合適的模型來匹配。讓 2D 形象動起來還有一個難點，就是身體部位的重疊部分不好控制，走路的時候哪只手在前？哪只手在后？還要被身體擋住。這些復(fù)雜的問題不解決，根本無法做到栩栩如生。

團(tuán)隊給出的解決方案是 AI 算法。首先將 2D 形象與 3D 形變模型匹配，標(biāo)記出身體各部位的位置。然后按照形變算法，一步步構(gòu)建網(wǎng)格。

按照關(guān)鍵點位置控制網(wǎng)格，還原出皮膚數(shù)據(jù)，構(gòu)建好貼圖。

最后，把貼圖放回到原圖中，用算法填充背景，人物就可以隨便跑了！

團(tuán)隊還特別提到，頭部姿勢的準(zhǔn)確性對動起來的人十分重要，因為大部分人會將注意力放在人物的臉上。因此，他們的算法還可以識別形象的頭部角度，還有注視方向。

為了讓這個算法可以實際應(yīng)用，團(tuán)隊還提供一個調(diào)整的選項，允許使用者改動關(guān)鍵點的位置。

這項技術(shù)可以被用到 AR、VR 中，配合相應(yīng)設(shè)備來使用。想象一下，未來我們在博物館中看的藝術(shù)畫，可能是動起來的。