具身智能領(lǐng)域迎來重要進展!智元機器人(AGIBOT)聯(lián)合北京航空航天大學提出的 ACoT-VLA(Action Chain-of-Thought)架構(gòu)正式入選計算機視覺頂會 CVPR 2026。該研究打破了傳統(tǒng)VLA模型“語義強、動作弱”的瓶頸,首次提出在“動作空間”進行推理的思維鏈范式。目前,ACoT-VLA 已作為 AGIBOT WORLD CHALLENGE的官方基線模型正式開源,助力全球開發(fā)者攻克復雜機器人操控難題。

論文鏈接:
https://arxiv.org/abs/2601.11404
代碼倉庫:
https://github.com/AgibotTech/ACoT-VLA
01/
挑戰(zhàn):
語義信息與動作表征之間的鴻溝

圖1: 不同空間下的思維鏈對比。
(a) 語言思維鏈將預測“子任務”作為中間推理步驟 ;
(b) 視覺思維鏈通過合成目標圖像來引導動作策略生成 ;
(c) 我們提出的動作思維鏈直接在動作空間進行推理,提供同質(zhì)化的動作引導 。
目前的視覺-語言-動作(VLA)模型雖然表現(xiàn)出良好的泛化能力,但通常將多模態(tài)輸入直接映射為底層動作,其痛點在于:現(xiàn)有的或顯式、或隱式的推理過程多局限于語言(如預測子任務)或視覺空間(如生成目標圖像),缺乏對物理動力學的直覺。這導致高級語義與精確的運動控制之間,橫亙著巨大的語義-運動鴻溝(Semantic-Kinematic Gap)。形象地說,機器人能“理解”任務,但極易在精細操作或面臨干擾時,因缺乏直接的動作指引而失敗。
面對物理世界的交互,推理過程應該是怎樣的?想象一下人類抓取桌上的蘋果,第一反應絕不是瞬間計算出手臂每時刻的精確坐標(細粒度控制),而是先在腦海中規(guī)劃出一個大致的運動趨勢——“抬手,伸向右前方,準備張開”(粗粒度意圖)。
正如大語言模型依賴中間文本推演的“文本思維鏈”,世界模型依賴中間圖像規(guī)劃的“視覺思維鏈”,在機器人的動作空間里,這種“先推演出粗粒度的運動趨勢,再指導精細執(zhí)行”的過程,正是動作思維鏈(Action Chain-of-Thought, ACoT)。
02/
創(chuàng)新:
讓機器人學會“在動作空間思考”

具體而言,ACoT-VLA 核心架構(gòu)包含兩個互補的推理模塊:
顯式動作推理 (EAR) 生成“參考草圖”
EAR 作為一個輕量化的 Transformer 模塊,根據(jù)多模態(tài)輸入,提前生成粗粒度(長視距且序列稀疏)參考軌跡。它為機器人提供了一個物理上可行的“動作意圖”,極大地減少了從觀察到執(zhí)行的映射歧義,為下游策略提供直接的參考軌跡 。
隱式動作推理 (IAR) 挖掘“潛在直覺”
IAR 通過下采樣和交叉注意力機制,從 VLM 的內(nèi)部特征(KV Cache)中提取潛藏的動作先驗,捕捉如指令“伸出左手”所蘊含的潛在動作分布等隱式語義信息。
動作引導預測 (AGP) 實現(xiàn)“精準落地”
最終的動作輸出模塊,不再孤立地從噪聲開始預測,而是通過雙重交叉注意力機制,同時融合 EAR 的顯式軌跡和 IAR 的隱式信息,賦予了模型極強的動作空間先驗,以增強策略生成能力。
03/
性能:全線 SOTA,無懼擾動
ACoT-VLA在多個主流具身智能benchmark上取得全面SOTA,在任務成功率、環(huán)境魯棒性以及跨場景泛化能力上均顯著領(lǐng)先現(xiàn)有VLA方法(比如
π0、π0.5、GR00T)。
LIBERO Benchmark:ACoT-VLA在Spatial、Object、Goal與Long 四類任務上均排名第一,平均成功率達到 98.5%。
LIBERO-Plus Benchmark:在包含相機、光照、背景和噪聲等多種環(huán)境擾動的設置下,ACoT-VLA 取得 84.1% 平均成功率,顯著超過現(xiàn)有方法。特別是在 Robot 初始位姿擾動場景中達到 62.5%,領(lǐng)先第二名20.8%。
VLABench Benchmark:在跨類別與紋理泛化測試中,ACoT-VLA 平均達到 63.5 IS / 47.4 PS,特別是紋理泛化任務上取得了 74.6 IS / 54.6 PS,顯著優(yōu)于其他方法。
Genie Sim 3.0 Benchmark (Sim-to-Real):在面向真實世界遷移的 Genie Sim 3.0 評測中,ACoT-VLA 展示了良好的零樣本跨域遷移能力,在僅使用仿真數(shù)據(jù)訓練的前提下,在真實環(huán)境測試中取得了 82.9% 的平均成功率,顯著優(yōu)于π0.5(77.5%)。
左右滑動查看更多
04/
開源:
助力AGIBOT WORLD CHALLENGE
智元機器人一直致力于建設開放的具身智能生態(tài)。為了降低廣大開發(fā)者進入具身智能研究的門檻,我們宣布:ACoT-VLA已正式作為 AGIBOT WORLD CHALLENGE推理-操作賽道的官方基線模型(Baseline)開源!
關(guān)于 AGIBOT WORLD CHALLENGE:
這是由智元機器人發(fā)起的全球性具身智能挑戰(zhàn)賽,旨在征集全球頂尖算法方案,共同攻克真實場景下的機器人通用操控難題,參賽者可以基于 ACoT-VLA 的開源代碼,利用我們提供的 AgiBot World Colosseo 大規(guī)模仿真平臺Genie Sim 3.0進行二次開發(fā)與算法創(chuàng)新。

我們歡迎全球開發(fā)者:
積極改進:基于 ACoT-VLA 這一更具物理直覺的架構(gòu)進行創(chuàng)新。
突破極限:在復雜的現(xiàn)實擾動環(huán)境下,挑戰(zhàn)更高難度的通用操控。
共同定義未來:我們期待看到更多開發(fā)者利用靈感,突破具身智能的邊界。
>>> END <<<