導 言
現(xiàn)有具身模型沒有充分利用更加多樣的視頻數(shù)據(jù)，難以適應未訓練過的新任務與新場景，通用性受限。為此，智元機器人聯(lián)合香港大學提出UniVLA：一個具備跨機器人本體、場景與任務泛化能力的通用策略學習系統(tǒng)。它構建了以任務為中心的隱式動作空間，充分利用語言描述與視頻示范進行策略學習，實現(xiàn)了從“看視頻”、“聽指令”到“動手操作”的通用控制。該成果已被機器人頂會 RSS 2025 認可，同時代碼也已經(jīng)開源，并成為全球頂尖機器人賽事 AgiBot World Challenge @ IROS 2025【點擊文字跳轉(zhuǎn)相關文章】 的baseline之一。
想象一下在不遠的未來，通用機器人真正走進了日常生活。我們希望當你發(fā)出一條自然語言指令，無論是“幫我給貓喂食”，還是“幫我關掉臺燈”，它都能夠理解你的意圖，并準確地完成動作——不依賴預定義的任務模板，也不受限于曾經(jīng)訓練過的數(shù)據(jù)分布。
然而，現(xiàn)有的機器人系統(tǒng)往往依賴人工標注的數(shù)據(jù)與固定的動作空間，面對那些未被明確訓練過的任務或非典型場景，它們常常會因為“未見過”“無定義”而選擇拒絕執(zhí)行，嚴重限制了通用性的發(fā)揮。有沒有一種能夠從更廣泛的數(shù)據(jù)來源，如從互聯(lián)網(wǎng)上的人類視頻中學習動作的方法，并實現(xiàn)多種場景、任務的真正通用和泛化呢？
最近，智元機器人聯(lián)合香港大學基于此提出了全新框架——UniVLA，一個跨本體、跨場景、跨任務的通用策略學習系統(tǒng)，就像為機器人安裝了“跨界大腦”，實現(xiàn)了從“看視頻”、“聽指令”到“動手操作”的通用控制。
UniVLA：跨本體、跨場景、跨任務的通用策略
? 論文地址：
https://www.arxiv.org/abs/2505.06111
? 開源代碼
https://github.com/OpenDriveLab/UniVLA
以往的通用模型如 RT-2、OpenVLA 雖已初具通用模型之勢，但依然存在諸多瓶頸：
訓練數(shù)據(jù)源單一：訓練時只使用大量人工采集的真機示范數(shù)據(jù)，沒有充分利用更加多樣的視頻數(shù)據(jù)。
缺乏通用性和跨平臺適配能力：換個機器人，動作空間就全得重來。
推理慢且精度不穩(wěn)：自回歸預測方式對錯誤累積敏感，執(zhí)行效率不高。
UniVLA 選擇了一條更具前瞻性的路徑：不再直接預測每一步動作，而是構建一個任務中心的隱式動作空間，在這個“中間表征”上統(tǒng)一訓練與泛化策略，不僅可以有效解決上述瓶頸，同時也能夠以更低的計算資源消耗實現(xiàn)更優(yōu)的效果。
UniVLA的核心創(chuàng)新在于構建了以任務為中心的隱式動作空間（task-centric latent action space），讓模型可以從海量無標簽視頻中學習任務相關且高效泛化的動作表示，只在人類視頻數(shù)據(jù)(Ego4D)上預訓練，就可以在LIBERO仿真平臺上達到SOTA級別效果。經(jīng)過預訓練后同一模型可以同時完成操作與導航等任務，實現(xiàn)了通用的動作學習。
為什么是隱式動作？
因為它既“壓縮信息”，又“對齊知識”
傳統(tǒng)的通用模型如OpenVLA采用自回歸策略直接預測每一步動作，推理速度慢且魯棒性不強。UniVLA則另辟蹊徑，將動作預測劃分為三個階段：
1. 隱式動作學習：
從海量跨領域視頻中“默默學習”，通過逆動力學建模并使用VQ-VAE進行離散化，構建出對任務理解更強、更緊湊的隱式動作空間；
2. 通用策略預訓練：
借助Prismatic-7B等大模型架構，將視覺觀察與語言指令編碼為統(tǒng)一輸入，預測隱式動作序列，從而實現(xiàn)具身無關的通用策略；
3. 動作解碼與部署：
使用輕量化解碼器將隱式動作轉(zhuǎn)譯為真實機器人控制信號，作為下游的控制策略，從而能夠在多款機器人平臺上進行快速適配和部署，輕裝上陣、高效執(zhí)行。
UniVLA的前兩階段訓練策略
相比 OpenVLA 那種直接在動作空間里“硬解”的做法，UniVLA 的“隱式編碼”（Latent Encoding）策略有幾個顯著優(yōu)勢：
1. 可以更好的利用視頻數(shù)據(jù)，泛化范圍大：
只需視頻和語言，就能從互聯(lián)網(wǎng)視頻數(shù)據(jù)中學技能，提取動作；
2. 壓縮維度，降低計算成本：
動作空間被有效壓縮，推理速度從<5Hz 提升至 10Hz+；
3. 適配靈活，遷移效率高：
由于隱式動作具有通用性，故只需輕量微調(diào)，就能部署到不同機器人上，下游數(shù)據(jù)效率拉滿。
數(shù)據(jù)算力所需更少，性能反而更強
相比OpenVLA，UniVLA在計算效率和適配能力上表現(xiàn)出壓倒性優(yōu)勢：預訓練GPU時長僅為其1/20，卻在多個任務和平臺上實現(xiàn)性能的全面超越。
在LIBERO、CALVIN等多個操控基準測試中，UniVLA展現(xiàn)出優(yōu)越的通用性與任務適應能力，在四項評估指標中成功率平均提升達18.5%。更值得注意的是，僅使用人類視頻預訓練(Ego4D)，UniVLA也能在LIBERO-Goal中達到SOTA效果。同時只需要10%的數(shù)據(jù)就在LIBERO-Goal上達到了SOTA效果（62.4%），優(yōu)于同樣數(shù)據(jù)量訓練下的OpenVLA（11.6%）和 OpenVLA-OFT（43.0%），數(shù)據(jù)利用效率如同開掛。
LIBERO 實驗結果
更重要的是，UniVLA以其結構化的隱式動作空間設計，天然具備擴展性與數(shù)據(jù)可擴展性：無論是引入更多人類示范作為提取隱空間表征的與訓練，還是增加新的機器人平臺僅通過輕量微調(diào)即可遷移適配，實現(xiàn)跨具身、跨視角、跨任務的全面通用。
在真實機器部署中，受益于僅12M參數(shù)的簡單動作解碼器以及高效的隱空間動作表征，UniVLA可以實現(xiàn)（閉環(huán)）10Hz以上的實時推理控制，在多個任務中（如“清理案板”、“疊漢諾塔”等）展現(xiàn)出高精度、高魯棒的操作能力，平均成功率達到80%+，推理時延遠低于OpenVLA，打通了通用大模型到落地應用的可能路徑。
UniVLA在真機實驗表現(xiàn)出色
同時在設計的若干泛化實驗中，面對各種泛化挑戰(zhàn)，它不僅不社恐，還能“快準穩(wěn)”上手。通用的隱式動作空間+異構數(shù)據(jù)的預訓練，讓它不止是“聰明”，而且真“通用”。
UniVLA在不同泛化條件下的表現(xiàn)
多虧了UniVLA的‘隱式動作+通用訓練’，UniVLA能夠充分在大量異構數(shù)據(jù)(操作、導航甚至人類視頻)中進行學習，并能夠有效容納足夠多的知識，照單全收，越學越強。
UniVLA的異構數(shù)據(jù)擴展能力
少樣本情況下UniVLA性能優(yōu)勢盡顯，在LIBERO長程任務基準上僅用10%數(shù)據(jù)（不到50條demo，平均每個任務僅5條）擊敗了全量數(shù)據(jù)微調(diào)的OpenVLA。
UniVLA在少樣本情況下的表現(xiàn)
UniVLA的方法不僅代表了視覺語言動作模型（VLA）領域的一次突破，更為“通用機器人智能”提供了新的思考與貢獻：從像素重建走向語義解耦的隱式動作學習、從高耗能預訓練走向輕量高效的跨本體適配、從單一機器人數(shù)據(jù)閉環(huán)走向人類視頻與多本體數(shù)據(jù)的開放協(xié)同。
- END -
首頁
