“能干活”一直是人形機器人的最終目標，而真正決定機器人能不能干活的，往往是一只“會用”的手。
今日，銀河通用與清華大學研究學者合作推出的靈巧手底層技術 DexNDM，通過分布有偏的真實數據訓練，精準彌合 仿真到現實（Sim2Real）鴻溝，首次讓通用靈巧手對多類物體實現穩定、多姿態、多軸向的旋轉操作。
跨物體精準操控： 從微小零件到厚重書本、細長棍體乃至復雜幾何結構，系統首次實現了跨類別、跨尺寸、跨姿態的穩定旋轉與操控，在通用性與精度上均邁出關鍵一步。
任意姿態多軸旋轉： 無論手掌朝上、朝下還是側向，均可沿任意軸向實現連續、穩定的旋轉動作，真正做到“手隨心轉”。
高靈巧、高魯棒遙操作： 能夠自如完成抓取、旋轉、擰動等多類工具操作，從擰螺絲到家具組裝，展現出應對長程、復雜任務的穩定能力。
彌合仿真與現實的鴻溝： 在缺乏大規模成功操作樣本的條件下，系統依然能夠基于偏分布的真實數據完成高精度學習，有效克服靈巧操作中的 Sim2Real 差距，實現從“實驗室演示”到“真實世界落地”的從0到1突破。
這次破了什么“卡點”？
過去，靈巧手研究經常受困于“限定條件”：物體形狀簡單、尺寸受限、手腕姿態受限。一旦換角度、換抓姿，接觸點與摩擦條件劇變，Sim2Real 就容易崩。
研究團隊提出了一種新穎的模擬到現實框架，用于靈巧的手內旋轉。該框架基于關節神經動力學模型和自主數據采集，旨在解決學習復雜交互動力學和獲取真實世界交互數據的核心挑戰。
除此之外，他們還提出了一種手內物體旋轉策略，該策略在手腕處于復雜姿態的情況下，能夠以前所未有的通用性旋轉具有挑戰性的物體。
研究團隊的核心思想是通過一個更具泛化性的動力學模型來分解學習問題，從而實現更具可擴展性的數據采集策略。
首先，他們讓模型學習了一個關節級的神經動力學模型。該模型分解了系統，并僅使用每個關節自身的本體感覺歷史來預測其演化。
這種設計本身不受物體狀態估計困難的影響，并且減少了無關變量的變異性，該模型變得非常高效且具有泛化能力。
通過以與任務無關的方式對機械手施加隨機載荷，模型能夠在避免故障和人工重置需求的同時采集數據。利用低成本且可擴展的數據學習一個能夠很好地泛化的動力學模型，然后利用該模型訓練一個殘差策略，將基于仿真訓練的基礎策略適配到真實世界，從而實現廣泛的泛化能力。
幾乎與全手模型一樣強
模型在 310 萬條模擬軌跡上訓練，并在實際環境中進行評估，其表達能力幾乎與全手模型一樣強。
在數據有限的情況下使用 7500 條在真實世界中自主采集的軌跡以及不同大小的真實世界數據集，模型的樣本效率更高，在實際環境中取得了更好的性能。
在 OOD 真實世界測試集（“拇指向上”腕關節下的任務相關轉換）上，模型在高數據量和低數據量情況下都具有更好的泛化能力。
總而言之，對于數據驅動的神經動力學，在數據不足或訓練-測試分布偏移的情況下，聯合模型顯著優于整體手模型；在數據充足且進行域內評估的情況下，兩者的性能相近，聯合模型的表達能力僅略有下降。
同時，旋轉策略使遠程操作系統能夠執行復雜的、長時程的操作任務。
消融實驗的結果表明，隨著真實世界數據量和收集迭代次數的增加，模型性能有所提升。
相比之下，全手模型從額外數據中獲益甚微，尤其是在自主收集的情況下，這可能是由于其更高的維度以及自主數據與旋轉任務轉換之間的分布不匹配所致。
雖然該框架能夠旋轉復雜物體，但模型的性能上限受限于部分觀測數據。相關人員表示，未來會利用更豐富的信號聯合建模手-物體之間的運動轉換，以及整合觸覺信息。
參考資料：
https://meowuu7.github.io/DexNDM/static/pdfs/DexNDM.pdf
分享
