讓人形機(jī)器人能夠像人一樣完成裝箱、搬運(yùn)、推車等移動(dòng)操作任務(wù)，一直是人們對具身智能的期待。近日，來自香港大學(xué)、智元AGIBOT、復(fù)旦大學(xué)和上海創(chuàng)智學(xué)院的聯(lián)合研究團(tuán)隊(duì)提出了 WholeBodyVLA，一種面向真實(shí)世界的人形機(jī)器人全身 Vision–Language–Action 框架。該工作基于智元靈犀X2研究發(fā)布，將 VLA 擴(kuò)展至雙足人形機(jī)器人的全身控制，驗(yàn)證了其在全身 loco-manipulation 任務(wù)中的可行性。

與原地操作相比，loco-manipulation 的難點(diǎn)不在于單一技能，而在于行走與操作必須在同一任務(wù)中長期、穩(wěn)定地協(xié)同發(fā)生。圍繞這一挑戰(zhàn)，WholeBodyVLA 總結(jié)出限制 loco-manipulation 發(fā)展的兩個(gè)核心問題：真機(jī)數(shù)據(jù)稀缺以及運(yùn)動(dòng)執(zhí)行中的不穩(wěn)定性，并引入兩項(xiàng)關(guān)鍵方案：

從人類視頻中學(xué)習(xí)：通過從第一視角人類視頻中學(xué)習(xí)移動(dòng)與操作的潛在動(dòng)作表示，模型能夠不依賴大規(guī)模機(jī)器人遙操數(shù)據(jù)，直接獲取對 loco-manipulation 行為的統(tǒng)一語義理解，從而顯著緩解人形機(jī)器人遙操作數(shù)據(jù)稀缺、采集成本高的問題。

面向移動(dòng)操作的RL控制器：將通用連續(xù)運(yùn)動(dòng)控制目標(biāo)簡化為一組離散運(yùn)動(dòng)指令，僅保留 loco-manipulation 必要的強(qiáng)化學(xué)習(xí)訓(xùn)練目標(biāo)，從而顯著提升了控制器在運(yùn)動(dòng)執(zhí)行時(shí)的穩(wěn)定性。

決策層-數(shù)據(jù)困境：相比原地操作，人形機(jī)器人在移動(dòng)操作任務(wù)中的數(shù)據(jù)采集要“貴”得多。往往需要不止一個(gè)數(shù)采員同時(shí)遙操機(jī)器人上半身進(jìn)行操作、下半身完成行走，這通常只能通過混合方案實(shí)現(xiàn)（例如 VR 控制上半身、遙控器控制下半身），這種方式操作流程長、效率低；或者使用全身動(dòng)捕系統(tǒng)，但價(jià)格高昂。再加上人形機(jī)器人本身的硬件成本居高不下，使得真機(jī)數(shù)據(jù)難以scale-up，從而讓依賴大量真機(jī)數(shù)據(jù)學(xué)習(xí)操作任務(wù)先驗(yàn)知識(shí)的 VLA 范式，在人形機(jī)器人移動(dòng)操作場景中變得尤為困難。

執(zhí)行層-控制難題：相比純粹的locomotion，loco-manipulation對運(yùn)動(dòng)精準(zhǔn)性和穩(wěn)定性的要求高的多，任何偏離都可能導(dǎo)致目標(biāo)操作物體脫離相機(jī)視野和工作空間。即使 VLA 輸出了正確的運(yùn)動(dòng)指令，下半身控制器仍然有概率執(zhí)行失敗，例如出現(xiàn)走歪、踉蹌等現(xiàn)象。

為了解決這些挑戰(zhàn)，研究團(tuán)隊(duì)提出了WholeBodyVLA（如下圖所示），并引入了兩個(gè)關(guān)鍵創(chuàng)新：

為了緩解數(shù)據(jù)稀缺，WholeBodyVLA 從低成本的人類第一視角視頻中學(xué)習(xí) manipulation-aware locomotion 知識(shí)。由于這類視頻不包含顯式動(dòng)作標(biāo)注，研究團(tuán)隊(duì)首先訓(xùn)練潛在動(dòng)作模型，為視頻自動(dòng)標(biāo)注運(yùn)動(dòng)與操作潛在動(dòng)作表示。其中，運(yùn)動(dòng)相關(guān)的潛在動(dòng)作從人類第一視角視頻中學(xué)習(xí)，操作相關(guān)的潛在動(dòng)作則基于 AgiBot World 數(shù)據(jù)集進(jìn)行建模。

在預(yù)訓(xùn)練階段，WholeBodyVLA 同時(shí)預(yù)測運(yùn)動(dòng)與操作兩類潛在動(dòng)作表示，執(zhí)行統(tǒng)一潛在動(dòng)作學(xué)習(xí)，在共享的潛在空間中對齊移動(dòng)與操作的動(dòng)作語義。由于這些潛在動(dòng)作表示在人類視頻與機(jī)器人視頻之間是共享的，模型能夠?qū)娜祟愐曨l中學(xué)到的移動(dòng)與操作知識(shí)有效遷移到機(jī)器人策略上。實(shí)驗(yàn)結(jié)果表明，隨著統(tǒng)一潛在動(dòng)作學(xué)習(xí)階段所使用數(shù)據(jù)量的增加，模型性能持續(xù)提升，顯著降低了對高成本遙操作數(shù)據(jù)的依賴。

對于 loco-manipulation 而言，控制層的執(zhí)行穩(wěn)定性與 VLA 的高層決策同樣關(guān)鍵。不穩(wěn)定的下半身運(yùn)控往往會(huì)使任務(wù)在進(jìn)入操作階段之前就宣告失敗，使得 VLA 的上半身操作能力無用武之地。

為此，WholeBodyVLA 設(shè)計(jì)了一種面向 loco-manipulation 的 LMO RL控制器，對下半身強(qiáng)化學(xué)習(xí)的控制接口與訓(xùn)練目標(biāo)進(jìn)行了簡化。LMO 不再采用通用的連續(xù)速度跟蹤，而是僅保留與移動(dòng)操作相關(guān)的離散運(yùn)動(dòng)指令，如前進(jìn)、側(cè)移、轉(zhuǎn)向和下蹲，顯著降低了訓(xùn)練和控制的復(fù)雜度，增強(qiáng)了運(yùn)控的穩(wěn)定性，為操作階段提供可靠的位姿基礎(chǔ)。

研究團(tuán)隊(duì)在 智元靈犀X2 人形機(jī)器人上進(jìn)行了大量真機(jī)實(shí)驗(yàn)驗(yàn)證，發(fā)現(xiàn) WholeBodyVLA 具有以下能力(動(dòng)圖有額外加速，原視頻見項(xiàng)目主頁)。

得益于統(tǒng)一潛在動(dòng)作學(xué)習(xí)階段獲取的manipulation-aware locomotion知識(shí)，WholeBodyVLA 能從不同的位置出發(fā)、并停止在目標(biāo)物體處完成操作任務(wù)。

得益于統(tǒng)一潛在動(dòng)作學(xué)習(xí)階段獲取的manipulation知識(shí)，WholeBodyVLA 也對不同的場景、物體、位置表現(xiàn)出一定的操作泛化性。

得益于 LMO 改進(jìn)的運(yùn)控穩(wěn)定性，WholeBodyVLA 能夠在干擾地形上仍然保持基本準(zhǔn)確的移動(dòng)方向和平衡。

總的來說，WholeBodyVLA 展示了 VLA 擴(kuò)展到雙足人形機(jī)器人自主全身控制的可行路徑。通過從人類視頻中學(xué)習(xí)，并結(jié)合針對移動(dòng)操作的RL控制器，WholeBodyVLA 使機(jī)器人能夠在真實(shí)世界中穩(wěn)定完成行走與操作交織的長時(shí)序任務(wù)，為推動(dòng)人形機(jī)器人走向制造、服務(wù)、物流等復(fù)雜場景提供重要基礎(chǔ)。作為本項(xiàng)研究的共同推動(dòng)者之一，智元AGIBOT將持續(xù)致力于核心前沿技術(shù)的創(chuàng)新與探索，推動(dòng)人形機(jī)器人智能從實(shí)驗(yàn)室走向廣泛的應(yīng)用場景，為具身智能發(fā)展貢獻(xiàn)堅(jiān)實(shí)的技術(shù)與產(chǎn)業(yè)力量。

<<<  END >>>