visionOS 27的隱藏更新也太猛了：一文弄清蘋果沒說的那些重磅升級

2026-06-16 11:38

雖然蘋果在WWDC 2026的主舞臺演講中幾乎沒怎么提到Vision Pro的操作系統(tǒng)，但其開發(fā)者文檔和技術(shù)講座顯示，visionOS 27 是迄今為止最重大的升級之一。新功能包括：預(yù)配置的手持物體追蹤、基于紅外LED的追蹤配件框架、無注視點屏幕錄制，以及多項底層技術(shù)改進。

據(jù)了解，visionOS 27 將于“今年秋季”面向 Apple Vision Pro 的 M2 和 M5 機型推出。首個測試版現(xiàn)已可用，但部分功能需等待穩(wěn)定版。

一、AI 與智能交互

Siri AI 與視覺智能

雖然不會在初始版本中出現(xiàn)，但蘋果表示“今年晚些時候”，基于大語言模型重構(gòu)的 Siri AI 將登陸 visionOS。Siri AI 由下一代 Apple Foundation Models 驅(qū)動，該模型與 Google 合作開發(fā)（據(jù)報道每年10億美元協(xié)議），部分任務(wù)在設(shè)備端運行，復(fù)雜任務(wù)則交由 Private Cloud Compute。

在 visionOS 中，Siri AI 表現(xiàn)為一個可固定在物理空間中的持久球體。你只需看著它直接說話即可，無需喚醒詞。同時支持視覺智能功能，可針對物理和虛擬環(huán)境進行搜索、提問和操作。其能力定位介于 Meta AI（Quest 3）和 Gemini（Samsung Galaxy XR）之間。

此外，visionOS 27 還新增了一個專用 Siri 應(yīng)用，可以查看歷史對話，作為第三方AI聊天機器人的預(yù)裝替代方案。

評論：將AI助手以“可錨定的空間物體”呈現(xiàn)，比傳統(tǒng)的浮空面板或語音條更自然，也體現(xiàn)了眼動追蹤的優(yōu)勢。

值得注意的是，下一代Foundation Models還帶來了：Image Playground 中更逼真的圖像生成、Safari 自動整理標(biāo)簽頁、一鍵升級密碼強度以及信息中的智能回復(fù)。

二、空間環(huán)境與視覺體驗

空間全景環(huán)境

visionOS 2 能為2D圖片添加立體效果，visionOS 26 則能通過高斯?jié)姙R將2D圖轉(zhuǎn)為具有深度感的“空間場景”。visionOS 27 將此功能擴展到了iPhone拍攝的全景照片。你可以將這些全景圖設(shè)為共享空間的主環(huán)境，讓窗口和虛擬內(nèi)容以真實全景為背景。

新環(huán)境：Þórsmörk（索斯默克）

visionOS 27 將增加第10個虛擬環(huán)境——冰島的 Þórsmörk 山谷（意為“雷神之谷”），被認(rèn)為是地球上最美的景觀之一。夜間版本帶有極光效果。

評論：至此，visionOS 環(huán)境庫已覆蓋月球、火山、沙漠、森林、極光等多種場景。

曲面窗口（僅限蘋果原生應(yīng)用）

此前只有Mac虛擬顯示器的超寬模式是曲面。visionOS 27 在 Safari、Freeform 和 Apple TV 的多視圖中加入了曲面窗口支持。Safari 的標(biāo)簽頁瀏覽體驗會略微環(huán)繞用戶。但此為私有API，第三方開發(fā)者無法在共享空間使用。

visionOS 27 上的 Safari 瀏覽器支持曲面窗口

評論：這可能是蘋果為了保持系統(tǒng)統(tǒng)一性而做的限制，但也讓人期待未來向第三方開放。

三、追蹤與配件生態(tài)

高幀率物體追蹤

visionOS 2 已支持追蹤預(yù)設(shè)的3D物體，但主要用于靜態(tài)物體，更新率約5Hz。visionOS 27 增加了高幀率模式（約30Hz），適用于移動和被手持的物體。為了追蹤手持物體，蘋果推薦使用“擴展訓(xùn)練”模式，該模式大幅提升追蹤性能，但訓(xùn)練時間顯著增加（例如一個魚形玩具需訓(xùn)練約18小時）。

評論：30Hz 雖仍低于手部追蹤的幀率，但已足以支撐許多互動場景。

紅外LED追蹤配件開放

visionOS 26 硬編碼支持了PS VR2 Sense手柄和Muse數(shù)字筆。visionOS 27 通過新API，允許任何公司制造自己的紅外LED追蹤配件，就像SteamVR的Lighthouse生態(tài)。追蹤與IMU融合，達到90Hz光學(xué)追蹤質(zhì)量。

visionOS 27 中的跟蹤式紅外 LED 配件

這種配件包含兩種集成方式：

配套應(yīng)用：硬件商發(fā)布 visionOS 應(yīng)用注冊設(shè)備，供其他應(yīng)用調(diào)用（適合消費類）。

內(nèi)置于應(yīng)用：開發(fā)者將設(shè)備信息直接編入自己的應(yīng)用（適合企業(yè)）。

此外，DFRobot 和 MikroE 將推出參考套件與開發(fā)板，降低入門門檻。

參考 visionOS 27，支持 DFRobot 和 MikroE 的跟蹤配件

評論：這是蘋果向開放配件生態(tài)邁出的重要一步，未來可能出現(xiàn)各種專用控制器、觸控筆甚至體感設(shè)備。

四、錄制與開發(fā)工具

無注視點屏幕錄制

由于 Vision Pro 始終使用注視點渲染，屏幕錄制中非注視區(qū)域是模糊的。visionOS 27 新增“高質(zhì)量錄制”選項，可錄制最長3分鐘的無注視點4K畫面，完全在頭顯上完成，無需Mac。這是開發(fā)者和內(nèi)容創(chuàng)作者最期待的功能之一。

Mac 3D 物體預(yù)覽 API

macOS 27 新增API，允許在 visionOS 27 中直接生成3D物體進行預(yù)覽。蘋果自帶的“預(yù)覽”應(yīng)用已支持，開發(fā)者只需幾行代碼就能為自己的Mac應(yīng)用加入此功能。支持雙向編輯（visionOS 側(cè)修改會同步回macOS），還支持SharePlay多人協(xié)作。

此外，Cinema 4D 和 SketchUp 正在集成。

評論：這大幅降低了Mac端3D創(chuàng)作工具適配Vision Pro的門檻。

設(shè)備中心（開發(fā)者）

Xcode 27 為開發(fā)者帶來“設(shè)備中心”應(yīng)用，可遠(yuǎn)程啟動 Vision Pro 上的體驗，無需再引導(dǎo)用戶操作。這填補了iPhone/iPad配套應(yīng)用無法啟動App的空白。

Wi-Fi 初始化速度提高3倍

蘋果承認(rèn) Vision Pro 啟動后連接Wi-Fi較慢，visionOS 27 將連接速度提升至原來的3倍。

五、界面與交互改進

全新控制中心

分為三個面板，界面更寬敞：

左側(cè)：日期時間、電量、Wi-Fi、通知

中間：Wi-Fi/藍(lán)牙/AirPlay/飛行模式快捷開關(guān)、音量滑塊、Mac虛擬顯示器等快速控制

右側(cè)：環(huán)境控制（日間/夜間、透視程度）

配件小組件（超小型）

visionOS 26 引入了可固定的迷你窗口。visionOS 27 新增更小的“配件小組件”，可用于電池電量、計時器、股票價格、智能家居開關(guān)等。蘋果還提供了一個第一方的Mac虛擬顯示器小組件，即使Mac處于鎖定狀態(tài)也能一鍵連接。

評論：如果智能家居應(yīng)用支持，你可以在家中每個物理設(shè)備旁邊“貼”一個虛擬開關(guān)，看著它捏合即可控制。

注視展開通知

只需看著通知，它就會自動展開，顯示更多信息和操作，無需捏合。

自動視頻字幕（輔助功能）

使用設(shè)備端語音識別模型，為任意視頻實時生成字幕。

車輛運動提示

此前出現(xiàn)在iOS上的功能——通過屏幕邊緣動畫點模擬車輛加減速和轉(zhuǎn)彎以減輕暈車——現(xiàn)登陸 visionOS。但具體在頭顯上的表現(xiàn)形式尚不明確。

眼控電動輪椅

visionOS 27 支持使用眼動追蹤原生控制特定電動輪椅。首批支持 Tolt 和 LUCI 驅(qū)動系統(tǒng)（美國），支持藍(lán)牙和有線連接。蘋果表示將繼續(xù)擴展兼容的輪椅驅(qū)動系統(tǒng)。

評論：這是空間計算在無障礙領(lǐng)域的杰出應(yīng)用——用本來用于注視交互的傳感器，直接轉(zhuǎn)化為行動能力。

六、RealityKit 底層技術(shù)大升級

RealityKit 是 visionOS 共享空間和許多全空間應(yīng)用的底層引擎。visionOS 27 為其帶來了以下關(guān)鍵升級：

1. 物理空間光照

應(yīng)用不僅可以在物理環(huán)境中投射陰影，現(xiàn)在還可以投射光線（點光源和聚光燈）。支持投影紋理和動畫圖案，可實現(xiàn)彩色玻璃、水下焦散、星空投影等效果。底層利用LiDAR掃描的3D網(wǎng)格和環(huán)境光傳感器。

2. 原生高斯?jié)姙R渲染

此前開發(fā)者需自己編寫高斯?jié)姙R（Gaussian Splatting）的渲染代碼。現(xiàn)在 RealityKit 原生支持，大幅降低了實現(xiàn)高質(zhì)量3D重建的門檻。蘋果已在“空間場景”和 Personas 中使用了該技術(shù)。

3. 實時布料模擬

集成可變形織物模擬：布料可在重力下懸垂、折疊、起皺、與物體碰撞，并可被拉動或交互。可調(diào)節(jié)剛度、摩擦力和材質(zhì)參數(shù)。

4. 沉浸式音頻升級（混響網(wǎng)格API）

應(yīng)用可描述虛擬環(huán)境的幾何形狀和聲學(xué)特性（為表面指定吸音、散射、反射等參數(shù)）。RealityKit 會模擬聲音在該空間中的傳播和混響，使音頻與視覺場景更加匹配。

評論：有趣的是，Meta 的 XR Audio SDK 已于今年早些時候“凍結(jié)”開發(fā)，而 Valve 的 Steam Audio SDK 仍在持續(xù)更新。蘋果此時推出類似功能，顯示出對專業(yè)XR音頻的重視。

七、其他值得注意的更新

Safari 網(wǎng)頁環(huán)境：開發(fā)者可為網(wǎng)頁指定一個3D環(huán)境（類似 favicon），用戶可選開啟，與 WebXR 無關(guān)。

Microsoft / Meta 類似功能未發(fā)貨：原文順便提到微軟和 Meta 在2024年曾宣布 Windows 11 與 Horizon OS 的類似功能，但至今未發(fā)布。

M5 Vision Pro 體驗：作者稱 M5 型號“非常快速”，只有 Wi-Fi 啟動慢的毛病已被修復(fù)。

小結(jié)

visionOS 27 并非一次小修小補，而是從 AI、追蹤生態(tài)、開發(fā)者工具到底層渲染引擎的全面進化。蘋果在主題演講中僅用數(shù)分鐘帶過，但文檔和開發(fā)者會議揭示的細(xì)節(jié)表明，這可能是 Vision Pro 自發(fā)布以來最具實質(zhì)意義的一次系統(tǒng)更新。

無論是眼控輪椅、開放配件生態(tài)，還是高斯?jié)姙R與實時布料模擬，都讓 Vision Pro 向著“空間計算的通用平臺”邁出了一大步。

注：本文原作者：David Heaney，原文發(fā)表于WWDC 2026之后，作者認(rèn)為蘋果在主題演講中嚴(yán)重低估了visionOS 27的重要性。本文基于原文翻譯整理，所有信息均來自蘋果官方文檔及開發(fā)者報告。

文 / akua

文中未標(biāo)注的圖片均來源于網(wǎng)絡(luò)

原文標(biāo)題 : visionOS 27的隱藏更新也太猛了：一文弄清蘋果沒說的那些重磅升級