給機(jī)器人一張“目標(biāo)照片”，它就能自己想辦法把面前的場景變成照片里的樣子嗎？

智元具身研究中心給出了肯定的答案。

Act2Goal——這不僅僅是一個(gè)新的操作算法，更是一種讓機(jī)器人“以終為始”的全新思維方式。

不同于傳統(tǒng)機(jī)器人機(jī)械地執(zhí)行死板指令，Act2Goal引入了“目標(biāo)條件世界模型”。這意味著，機(jī)器人不再只是“看一步走一步”，而是擁有了預(yù)見未來的能力——在真正動手之前，它已經(jīng)在大腦中構(gòu)建了從現(xiàn)狀通往目標(biāo)的完整因果鏈條。這種將視覺推理與動作控制合二為一的端到端架構(gòu)，讓Act2Goal能夠在從未見過的環(huán)境和物體面前，展現(xiàn)出驚人的零樣本泛化能力。

更令人興奮的是，Act2Goal具備“自我進(jìn)化”的本能。 它不需要人類手把手教（無獎(jiǎng)勵(lì)信號），就能在真實(shí)世界的交互中，快速“復(fù)盤”自己的行為軌跡。實(shí)驗(yàn)數(shù)據(jù)顯示，面對高難度的陌生任務(wù)，Act2Goal僅需數(shù)分鐘的在線自我磨練，成功率就能從30%提升至90%。

所見即所向，讓機(jī)器人的每一次行動，都精準(zhǔn)地通往目標(biāo)。

在視覺信息能夠直接反映任務(wù)目標(biāo)的場景中，使用目標(biāo)圖像作為條件輸入能夠更直觀地指導(dǎo)機(jī)器人動作。然而，當(dāng)面臨長時(shí)序操作、復(fù)雜物體交互或訓(xùn)練數(shù)據(jù)分布外環(huán)境時(shí)，這類方法往往難以保持穩(wěn)定性能?，F(xiàn)有目標(biāo)條件策略通常只關(guān)注當(dāng)前狀態(tài)與目標(biāo)狀態(tài)，而缺乏對兩者之間任務(wù)過程的顯式建模，主流方法多采用直接映射的范式，將當(dāng)前觀測與目標(biāo)狀態(tài)輸入策略網(wǎng)絡(luò)以預(yù)測動作，這使得機(jī)器人難以判斷執(zhí)行進(jìn)度，也容易在任務(wù)延長或環(huán)境變化時(shí)出現(xiàn)誤差累積。Act2Goal通過在動作生成之前引入目標(biāo)條件世界模型，對從當(dāng)前狀態(tài)到目標(biāo)狀態(tài)的演化過程進(jìn)行建模，并生成一系列中間視覺狀態(tài)作為任務(wù)進(jìn)程的結(jié)構(gòu)化表征，為機(jī)器人動作提供明確操作錨點(diǎn)，使機(jī)器人能夠更穩(wěn)定地執(zhí)行長時(shí)序任務(wù)。

Act2Goal的核心在于將目標(biāo)條件世界模型與動作生成策略統(tǒng)一于端到端框架，實(shí)現(xiàn)對任務(wù)演化過程的結(jié)構(gòu)化理解。在每次操作前，系統(tǒng)不僅感知當(dāng)前狀態(tài)和目標(biāo)狀態(tài)，還通過世界模型預(yù)測從當(dāng)前到目標(biāo)的未來視覺軌跡，為動作專家提供連續(xù)、多尺度的規(guī)劃依據(jù)。通過這種方式，目標(biāo)不再是靜態(tài)終點(diǎn)，而是一條可感知、可跟隨的演化路徑，從而顯著提升長時(shí)序操作的穩(wěn)定性與泛化能力。這一范式帶來了兩個(gè)關(guān)鍵優(yōu)勢：

長時(shí)序任務(wù)中保持高精度與全局對齊：端到端設(shè)計(jì)結(jié)合多尺度時(shí)間規(guī)劃，使機(jī)器人既能精確執(zhí)行短期動作，又能保持整體目標(biāo)方向一致。

零樣本泛化與快速適應(yīng)新場景：系統(tǒng)能夠在未見過的物體、目標(biāo)配置或復(fù)雜環(huán)境中穩(wěn)定執(zhí)行，并通過在線自我提升機(jī)制快速適應(yīng)新任務(wù)，進(jìn)一步增強(qiáng)魯棒性和可擴(kuò)展性。

為了在長時(shí)序任務(wù)中同時(shí)處理精細(xì)動作和全局規(guī)劃，Act2Goal引入了多尺度時(shí)域哈希（Multi-Scale Temporal Hashing, MSTH）機(jī)制。系統(tǒng)將規(guī)劃過程劃分為：

短時(shí)精細(xì)段（Proximal）：連續(xù)高頻采樣，用于精確控制機(jī)械臂動作；

長時(shí)粗粒段（Distal）：自適應(yīng)采樣，用于全局路徑規(guī)劃和目標(biāo)對齊。

這種設(shè)計(jì)使機(jī)器人在復(fù)雜操作中能夠兼顧局部動作精度與整體目標(biāo)方向，有效防止誤差累積和目標(biāo)偏離。

MSTH可同時(shí)應(yīng)用于世界模型的視覺規(guī)劃與動作專家模塊的動作規(guī)劃。

目標(biāo)驅(qū)動的世界模型基于MSTH規(guī)則生成操作視頻

為了讓Act2Goal具備強(qiáng)大的泛化能力，系統(tǒng)首先通過大規(guī)模離線模仿學(xué)習(xí)進(jìn)行訓(xùn)練。系統(tǒng)微調(diào)預(yù)訓(xùn)練的世界模型，使其能夠生成從當(dāng)前狀態(tài)到目標(biāo)狀態(tài)的多視角、多尺度視覺軌跡，并遵循MSTH規(guī)則。動作生成模塊與世界模型聯(lián)合訓(xùn)練，通過參考軌跡預(yù)測生成可執(zhí)行動作。這種聯(lián)合訓(xùn)練保證了視覺軌跡預(yù)測不僅真實(shí)可信，而且能夠有效指導(dǎo)動作生成，為動作規(guī)劃奠定基礎(chǔ)。系統(tǒng)對整個(gè)端到端模型進(jìn)行行為克隆微調(diào)，使從視覺感知到動作生成形成完整閉環(huán)。通過以上訓(xùn)練，Act2Goal學(xué)會根據(jù)當(dāng)前狀態(tài)和目標(biāo)狀態(tài)預(yù)測未來軌跡，并生成可執(zhí)行動作，從而具備良好的泛化能力和長期操作穩(wěn)定性。

部署Act2Goal模型的G01機(jī)器人在多個(gè)域外任務(wù)上展現(xiàn)出色性能

盡管離線訓(xùn)練使系統(tǒng)具備較強(qiáng)的泛化能力，但在真實(shí)環(huán)境中面對新任務(wù)、未知物體或復(fù)雜操作鏈時(shí)，機(jī)器人仍可能遇到性能下降。為此，Act2Goal引入在線自我提升機(jī)制，利用回顧性經(jīng)驗(yàn)重放（HER）實(shí)現(xiàn)自主性能優(yōu)化。

在執(zhí)行過程中，機(jī)器人會自動收集每一步的狀態(tài)、動作及執(zhí)行結(jié)果，并將軌跡重新標(biāo)注為新的目標(biāo)示例，存入回放緩沖區(qū)。無論任務(wù)是否成功完成，系統(tǒng)都能利用這些數(shù)據(jù)進(jìn)行端到端微調(diào)，僅更新新增的LoRA層參數(shù)，基礎(chǔ)模型保持凍結(jié)。通過這一機(jī)制，機(jī)器人能夠在未見過的環(huán)境和目標(biāo)中快速適應(yīng)，實(shí)現(xiàn)零樣本泛化與長期穩(wěn)定操作，為復(fù)雜任務(wù)提供強(qiáng)大的魯棒性和可擴(kuò)展性。

部署Act2Goal模型的機(jī)器人在線練習(xí)繪制未見過的圖案

持續(xù)提升性能

Act2Goal的核心貢獻(xiàn)在于重新審視了目標(biāo)條件操作中的一個(gè)基本問題：從當(dāng)前狀態(tài)到目標(biāo)狀態(tài)之間，機(jī)器人是否真正理解過程？通過在策略中顯式引入目標(biāo)條件世界模型，并結(jié)合多尺度時(shí)間建模與深度融合機(jī)制，我們?yōu)槟繕?biāo)條件機(jī)器人操作提供了一種新的建模范式。我們相信，這種“先理解世界如何變化，再決定如何行動”的思路，將為更通用、更可靠的機(jī)器人系統(tǒng)提供重要支撐。