SOP 的核心目標(biāo)，是讓機器人在真實世界中實現(xiàn)分布式、持續(xù)的在線學(xué)習(xí)。

我們將 VLA 后訓(xùn)練從“離線、單機、順序”重構(gòu)為“在線、集群、并行”，形成一個低延遲的閉環(huán)系統(tǒng)：

多機器人并行執(zhí)行 → 云端集中在線更新 → 模型參數(shù)即時回流

多臺部署了同一policy模型的機器人（actors）在不同地點同時執(zhí)行多樣任務(wù)，持續(xù)采集成功、失敗以及人類接管產(chǎn)生的交互數(shù)據(jù)。每臺機器人的經(jīng)驗數(shù)據(jù)被匯總傳輸至云端 Experience Buffer中。

所有交互軌跡實時上傳至云端 learner，形成由在線數(shù)據(jù)與離線專家示教數(shù)據(jù)組成的數(shù)據(jù)池。

系統(tǒng)通過動態(tài)重采樣策略，根據(jù)不同任務(wù)的性能表現(xiàn)，自適應(yīng)調(diào)整在線/離線數(shù)據(jù)比例，以更高效地利用真實世界經(jīng)驗。

更新后的模型參數(shù)在分鐘級別內(nèi)同步回所有機器人，實現(xiàn)集群一致進化，維持在線訓(xùn)練的穩(wěn)定性。

SOP本身是一套通用的框架，可以即插即用的使用任意后訓(xùn)練算法，讓VLA從在線經(jīng)驗數(shù)據(jù)中獲益。我們選取 HG-DAgger（交互式模仿學(xué)習(xí)） 與 RECAP（離線強化學(xué)習(xí)） 作為代表性算法，將其接入 SOP 框架以進化為分布式在線訓(xùn)練。

分布式多機器人并行探索，顯著提升狀態(tài)–動作覆蓋率，避免單機在線學(xué)習(xí)的局限。

所有機器人始終基于低延遲的最新策略進行推理采集，提升在線訓(xùn)練的穩(wěn)定性與一致性。

傳統(tǒng)的單機在線訓(xùn)練往往會使模型退化為只擅長單一任務(wù)的“專家”， SOP 通過空間上的并行而非時間上的串行，在提升任務(wù)性能的同時保留 VLA 的通用能力，避免退化為單任務(wù)專家。

我們圍繞三個問題系統(tǒng)評估 SOP：

實驗結(jié)果說明，在各類測試場景下，結(jié)合SOP的后訓(xùn)練方法均得到了顯著的性能提升。相比預(yù)訓(xùn)練模型，結(jié)合SOP的HG-Dagger方法在物品繁雜的商超場景中實現(xiàn)了33% 的綜合性能提升。對于靈巧操作任務(wù)（疊衣服和紙盒裝配），SOP 的引入不僅提升了任務(wù)的成功率，結(jié)合在線經(jīng)驗學(xué)習(xí)到的錯誤恢復(fù)能力還能明顯提升策略操作的吞吐量。

結(jié)合SOP的HG-Dagger方法讓疊衣服的相比HG-Dagger吞吐量躍升114%。SOP讓多任務(wù)通才的性能普遍提升至近乎完美，不同任務(wù)的成功率均提升至94%以上，紙盒裝配更是達到98%的成功率。

為了進一步測試真機SOP訓(xùn)練后VLA模型是否達到專家級性能，我們讓SOP訓(xùn)練的VLA模型進行了長達36小時的連續(xù)操作，模型展現(xiàn)出了驚人的穩(wěn)定性和魯棒性，能夠有效應(yīng)對真實世界中出現(xiàn)的各種疑難雜癥。

36h連續(xù)疊衣服（50倍速）

36h連續(xù)疊紙盒（50倍速）

我們使用了三種機器人隊伍數(shù)量（單機、雙機、四機配置），在同樣的數(shù)據(jù)傳送總量的基礎(chǔ)上，進行了比較。實驗結(jié)果表明，在相同的總訓(xùn)練時間下，更多數(shù)量的機器人帶來了更高的性能表現(xiàn)。在總訓(xùn)練時間為3小時的限制下，四機進行學(xué)習(xí)的最終成功率達到了92.5%，比單機高出12%。我們認(rèn)為，多機采集可以有效阻止模型過擬合到單機的特定特征上。同時，SOP 還將硬件的擴展轉(zhuǎn)化為了學(xué)習(xí)時長的大幅縮短，四機器人集群相比單機能夠?qū)⒛Ｐ瓦_到目標(biāo)性能的訓(xùn)練速度增至2.4倍。

SOP學(xué)習(xí)效率提升

最后，我們探究了 SOP 和預(yù)訓(xùn)練數(shù)據(jù)之間的關(guān)系。我們把總量為160小時的多任務(wù)預(yù)訓(xùn)練數(shù)據(jù)分為了三組：20小時，80小時和160小時，分別訓(xùn)練一組初始模型后再進行 SOP。我們發(fā)現(xiàn)，預(yù)訓(xùn)練的規(guī)模決定了基座模型和后訓(xùn)練提升的軌跡。SOP 能為所有初始模型帶來穩(wěn)定的提升，且最終性能與VLA預(yù)訓(xùn)練質(zhì)量正相關(guān)。

同時，對比80小時和160小時實驗效果，我們也可以明顯注意到，在解決特定失敗情況時，在軌策略經(jīng)驗帶來了非常顯著的邊際效果。SOP 在三小時的在軌經(jīng)驗下就獲得了約30%的性能提升，而80小時額外人類專家數(shù)據(jù)只帶來了4%的提升。這說明在預(yù)訓(xùn)練出現(xiàn)邊際效應(yīng)遞減的情況下，SOP 能夠高效突破VLA性能瓶頸。

SOP在不同預(yù)訓(xùn)練數(shù)據(jù)規(guī)模下的對比

SOP 改變的不僅是訓(xùn)練范式，更是機器人系統(tǒng)的生命周期。我們相信機器人不應(yīng)當(dāng)是“性能固定的標(biāo)品”，而是“在真實世界中持續(xù)提升的生命體”。部署不是技術(shù)迭代的終點，而是更大規(guī)模學(xué)習(xí)的起點。如果說 VLA 讓機器人第一次具備了通用理解與行動能力，那么 SOP 所做的是讓眾多機器人的經(jīng)驗共同驅(qū)動智能的快速成長。訓(xùn)練不被鎖死在過去，智能成長在當(dāng)下。