成人免费午夜精品一区二区-亚洲视频在线观看久久-国产原创自拍看在线视频-这里只有精品自拍偷拍亚洲色图-亚洲变态另类色图天堂网-国产欧美日韩亚洲一区-国产精品自拍35页-男人插入女人下面的真实视频-蜜桃臀一区二区三区精品视频

訂閱
糾錯
加入自媒體

理想MindVLA-o1讓自動駕駛更像人?

最近理想汽車發(fā)布的MindVLA-o1引起了不少人的討論,智駕最前沿也基于此和大家聊了聊理想和小鵬VLA的區(qū)別(相關(guān)閱讀:小鵬和理想均押注 VLA,兩者技術(shù)各有啥特色?)

今天就詳細和大家聊聊理想的MindVLA-o1到底實現(xiàn)了什么功能。其實從理想汽車的介紹中,MindVLA-o1的核心邏輯非常明確,即它不再把自動駕駛看作一個由感知、預(yù)測、規(guī)劃組成的拼圖游戲,而是試圖通過一個統(tǒng)一的視覺-語言-動作模型,直接去模擬人類司機的駕駛邏輯。

圖片源自:理想汽車

這種改變意味著車子不再是單純地執(zhí)行指令,而是在理解物理世界的基礎(chǔ)上進行思考。

傳統(tǒng)自動駕駛系統(tǒng)各功能其實是分開的,感知負責看見,規(guī)劃負責決策,控制負責執(zhí)行。這樣做的好處是結(jié)構(gòu)清楚,壞處也很明顯,就是各個模塊之間容易割裂,在遇到復(fù)雜場景時,信息傳遞不夠順,系統(tǒng)也很難形成統(tǒng)一理解。

MindVLA-o1做的就是盡量把這些能力放到一個模型里,讓它不只是“看見了什么”,還要“明白這意味著什么”,并進一步判斷“接下來該怎么做”。

從“看見路”到“理解路”

MindVLA-o1在感知層面不是單純把圖像識別做得更細,而是把三維空間理解補起來。理想采用以視覺為核心的3D ViT Encoder,同時把激光雷達點云當作三維幾何提示,幫助模型更好地理解真實空間結(jié)構(gòu)。這個做法的價值在于它讓模型不只是識別前方有車、有行人、有障礙物,還能更穩(wěn)定地把這些目標放到具體的三維關(guān)系里去理解。

圖片源自:理想汽車

這一步其實很關(guān)鍵,因為自動駕駛真正難的地方,從來不只是“有沒有看到”,而是“有沒有看懂”。同一個目標,在不同距離、不同遮擋、不同道路結(jié)構(gòu)下,系統(tǒng)對它的判斷會完全不同。把語義信息和三維空間信息合到一起,模型對場景的把握才會更完整。

理想還引入了前饋式3DGS表示,把靜態(tài)環(huán)境和動態(tài)物體分開建模,再通過下一幀預(yù)測作為自監(jiān)督信號,讓模型同時學到深度、語義和運動變化。這樣做的結(jié)果,是模型對環(huán)境的理解不再停留在單幀圖像,而是帶上了時間維度。

智駕最前沿以為,這部分其實是讓自動駕駛從二維識別往三維場景理解邁了一大步。它解決了自動駕駛一個很現(xiàn)實的問題,即車在路上面對的從來不是靜態(tài)圖片,而是連續(xù)變化的空間。

從“判斷當下”到“推演下一秒”

如果說空間理解解決的是“眼前看得清”,那多模態(tài)思考解決的就是“接下來怎么想”。理想在MindVLA-o1里引入了預(yù)測式隱世界模型,讓模型能夠在隱空間里模擬未來的場景變化。

它不是簡單地做一個下一幀預(yù)測,而是把世界模型、多模態(tài)推理和駕駛行為聯(lián)合起來訓練,讓模型在做決策之前,先在內(nèi)部把未來的可能性推演一遍。

這一點很像人類駕駛員的真實思考方式。人類駕駛員并不會只看當前這一秒的畫面,而是會順著路況、車速、交通參與者的動作,提前判斷接下來可能發(fā)生什么。

MindVLA-o1想做的,就是把這種能力放進模型里。它通過海量視頻預(yù)訓練隱世界詞元,再持續(xù)強化世界模型推演能力,最后把這些能力和駕駛動作對齊。這樣一來,模型在面對復(fù)雜場景時,不只是做當下反應(yīng),還能提前形成對未來幾秒的判斷。

這也是智駕最前沿認為MindVLA-o1最有價值的地方之一。很多大模型講“會思考”,但在自動駕駛里,真正有用的思考不是抽象推理,而是對未來場景變化的預(yù)判。

車速、距離、軌跡、相對位置,這些東西都要求模型對時間有穩(wěn)定理解。只有把這種能力做進了系統(tǒng)里,才讓“想得更深”不只是口號。

從“輸出動作”到“穩(wěn)定開車”

自動駕駛最后要實現(xiàn)的一定要落到動作上,而動作生成往往最容易暴露系統(tǒng)短板。理想在這里做的是統(tǒng)一行為生成。

MindVLA-o1使用VLA-MoE架構(gòu),并加入Action Expert,從3D場景特征、導航目標和駕駛指令中提取信息,再結(jié)合前面的多模態(tài)思考,直接生成高精度駕駛軌跡。

它不是把幾個模塊拼起來再湊一個結(jié)果,而是盡量讓“理解”和“動作”之間少一些中間損耗。

在這個方面理想還有兩個很重要的設(shè)計。一個是并行解碼,也就是一次性生成所有軌跡點,提升實時性。另一個是離散擴散,用多輪迭代的方式去優(yōu)化軌跡,讓軌跡更連續(xù)、更穩(wěn)定,也更符合車輛動力學約束。

這個部分聽起來不像感知和推理那么“高大上”,但它恰恰決定了車開起來穩(wěn)不穩(wěn)。模型能不能在復(fù)雜場景下給出平順、可執(zhí)行、可控的動作,最終還是看這一層。

智駕最前沿覺得,MindVLA-o1在動作生成上的意義不在于“更會開車”,而在于它開始像一個真正的駕駛系統(tǒng),而不是一個只會給答案的模型。

自動駕駛最怕的其實不是看不見,而是看見了卻做出不穩(wěn)定、不連貫的動作。統(tǒng)一行為生成解決的,正是這個問題。

MindVLA-o1是一套會進化的系統(tǒng)?

MindVLA-o1不只是一個靜態(tài)模型,它背后還有一整套閉環(huán)強化學習和軟硬件協(xié)同設(shè)計。理想把傳統(tǒng)逐步優(yōu)化式重建,升級成前饋式場景重建,讓系統(tǒng)能更快生成大規(guī)模、高保真的駕駛場景,再結(jié)合世界模擬器持續(xù)訓練和優(yōu)化。

這個思路的核心,不是靠一次訓練定終局,而是讓模型在仿真和真實世界之間不斷循環(huán),持續(xù)修正自己。

與此同時,理想還把模型設(shè)計和硬件約束放到一起考慮。通過Roofline模型分析計算能力和內(nèi)存帶寬限制,再評估近2000種架構(gòu)配置,最終找出精度和推理延遲之間的平衡點。

圖片源自:理想汽車

這個動作很重要。因為自動駕駛不是實驗室里的模型比賽,模型再強,放不上車、跑不動、調(diào)不快,都沒有意義。MindVLA-o1能被認真討論,不只是因為它提出了新結(jié)構(gòu),更因為它把“怎么上車”這件事擺到了同等重要的位置。

從這個角度看,MindVLA-o1真正實現(xiàn)的,不是單點突破,而是一整套面向物理世界智能的能力拼接起來了。

看得更遠,是三維空間理解;想得更深,是多模態(tài)思考;行得更穩(wěn),是統(tǒng)一行為生成;進化更快,是閉環(huán)強化學習;部署更高效,是軟硬件協(xié)同。這五件事合在一起,才構(gòu)成了它的完整價值。

結(jié)語

如果只把MindVLA-o1看成一套自動駕駛新模型,理解會太窄。理想真正想表達的,是自動駕駛正在從“功能系統(tǒng)”走向“物理世界智能系統(tǒng)”。它現(xiàn)在當然還主要服務(wù)于車,但它的結(jié)構(gòu)已經(jīng)不再局限于車。視覺、語言、行動統(tǒng)一之后,模型就有了擴展到機器人等物理系統(tǒng)的可能。

-- END --

       原文標題 : 理想MindVLA-o1讓自動駕駛更像人?

聲明: 本文由入駐維科號的作者撰寫,觀點僅代表作者本人,不代表OFweek立場。如有侵權(quán)或其他問題,請聯(lián)系舉報。

發(fā)表評論

0條評論,0人參與

請輸入評論內(nèi)容...

請輸入評論/評論長度6~500個字

您提交的評論過于頻繁,請輸入驗證碼繼續(xù)

暫無評論

暫無評論

    人工智能 獵頭職位 更多
    掃碼關(guān)注公眾號
    OFweek人工智能網(wǎng)
    獲取更多精彩內(nèi)容
    文章糾錯
    x
    *文字標題:
    *糾錯內(nèi)容:
    聯(lián)系郵箱:
    *驗 證 碼:

    粵公網(wǎng)安備 44030502002758號