近日,智元自研的世界模型 Genie Envisioner-Sim 2.0(GE-2.0)登頂 WorldArena Challenge榜單,獲得總冠軍。值得關(guān)注的是,GE-2.0通過(guò)引入多樣交互數(shù)據(jù)進(jìn)行訓(xùn)練,進(jìn)一步提升了世界模型對(duì)真實(shí)物理世界的建模能力。
所謂多樣交互數(shù)據(jù),往往是我們?cè)缫蚜?xí)慣的生活中的一些瞬間:碗放入水槽,水面會(huì)泛起一圈圈漣漪;乒乓球落地,會(huì)一次次彈起;塑料袋從空中掉落,會(huì)輕輕飄下。
對(duì)于人類來(lái)說(shuō),這些都是習(xí)以為常的經(jīng)驗(yàn)。但對(duì)于機(jī)器人來(lái)說(shuō),它們正是理解物理世界最困難、也最關(guān)鍵的部分。這也是世界模型研究中的關(guān)鍵需求:機(jī)器人對(duì)世界的建模和預(yù)測(cè)需要真實(shí)豐富的交互數(shù)據(jù),才能更好地理解物理世界的運(yùn)行。
世界模型一直都缺少一批真正屬于它的數(shù)據(jù)。
今天,智元開(kāi)源AGIBOT WORLD 2026數(shù)據(jù)集主題二:“多樣交互(Rich Interaction)”,旨在填補(bǔ)這一空白。這是行業(yè)首個(gè)聚焦物理交互的開(kāi)源具身數(shù)據(jù)集,數(shù)據(jù)集不僅記錄預(yù)期內(nèi)的成功,更致力于捕捉機(jī)器人與真實(shí)世界之間那些多樣、精細(xì)且充滿接觸的物理對(duì)話,以此還原物理智能的全貌。
項(xiàng)目主頁(yè): |
agibot-world.com |
開(kāi)源地址: |
huggingface.co/datasets/agibot-world/AgiBotWorld2026 |
四月智元AI發(fā)布周首日,我們開(kāi)源了第一期“模仿學(xué)習(xí)”主題,此次的主題二“多樣交互”則進(jìn)一步走向機(jī)器人與真實(shí)物理世界之間更復(fù)雜、更高密度、更具不確定性的“交互學(xué)習(xí)”。
過(guò)去,具身數(shù)據(jù)集往往強(qiáng)調(diào)“專家示范”,可真實(shí)世界并不總是理想、可控的。機(jī)器人真正理解物理世界,不僅需要學(xué)習(xí)如何完成任務(wù),也需要理解非理想情況背后的物理規(guī)律。
本期數(shù)據(jù)集突破了數(shù)據(jù)采集中僅關(guān)注成功案例的局限,直面現(xiàn)實(shí)物理世界中微妙的復(fù)雜性,捕捉“意料之外”的價(jià)值。采集過(guò)程通過(guò)富有想象力與探索性的遙操作范式,主動(dòng)引導(dǎo)機(jī)器人與海量環(huán)境物體進(jìn)行交互,涵蓋多樣的材質(zhì)、復(fù)雜的幾何形態(tài)以及獨(dú)特的機(jī)械結(jié)構(gòu)。

01/
100%真實(shí)場(chǎng)景
構(gòu)建高保真的物理交互數(shù)據(jù)
數(shù)據(jù)集顯式記錄了真實(shí)世界發(fā)生的大量不完美行為與長(zhǎng)尾情景——例如抓取失敗、意外碰撞、物體掉落以及液體飛濺,以此勾勒出物理智能最真實(shí)的底色。一次抓取失敗,能夠暴露接觸點(diǎn)、摩擦力、物體重心與執(zhí)行誤差之間的關(guān)系;一次滑落,能夠呈現(xiàn)材料、形狀與夾持策略之間的復(fù)雜耦合;一次碰撞,則可能讓模型學(xué)習(xí)到力、空間位置與物體運(yùn)動(dòng)之間的真實(shí)反饋。
更重要的是,AGIBOT WORLD 2026所有數(shù)據(jù)均在100%真實(shí)場(chǎng)景中采集,在接觸動(dòng)力學(xué)、材料形變、多模態(tài)反饋等方面呈現(xiàn)出極高的物理保真度。這類數(shù)據(jù)在行業(yè)中極其稀缺,卻是推動(dòng)世界模型、神經(jīng)仿真器、物理感知以及表征學(xué)習(xí)繼續(xù)向前發(fā)展的關(guān)鍵基礎(chǔ)。

02/
為什么失敗數(shù)據(jù)和多樣交互數(shù)據(jù)如此重要?
近期多項(xiàng)世界模型與機(jī)器人策略評(píng)估相關(guān)的前沿研究,都在從不同角度指向同一個(gè)問(wèn)題:缺少足夠豐富的動(dòng)作分布、失敗數(shù)據(jù)和接觸交互數(shù)據(jù),正在限制世界模型對(duì)真實(shí)世界的物理過(guò)程模擬能力。
當(dāng)模型只見(jiàn)過(guò)標(biāo)準(zhǔn)動(dòng)作和成功示范,它往往容易停留在“成功狀態(tài)擬合”階段。面對(duì)少見(jiàn)動(dòng)作、復(fù)雜接觸和非理想情況時(shí),模型就可能出現(xiàn)失真,難以準(zhǔn)確預(yù)測(cè)真實(shí)世界中的失敗分布與物理演化。
在策略評(píng)估中,這一問(wèn)題也會(huì)進(jìn)一步放大。由于模型無(wú)法充分生成真實(shí)環(huán)境中的細(xì)微失敗情況,策略在模型中的成功率可能遠(yuǎn)高于真實(shí)環(huán)境中的表現(xiàn),從而造成世界模型和真實(shí)世界之間策略遷移的偏差。
這些來(lái)自前沿研究的最新探索,都在傳遞一個(gè)信號(hào):失敗數(shù)據(jù)正在從“噪聲”變成“資產(chǎn)”。
03/
失敗是物理規(guī)律顯影的瞬間
智元自身的世界模型團(tuán)隊(duì)也在相關(guān)方向上進(jìn)行了大量實(shí)驗(yàn)驗(yàn)證。
在智元世界模型仿真器 Genie Envisioner-Sim 2.0 的相關(guān)實(shí)驗(yàn)中,結(jié)果表明,多樣交互數(shù)據(jù)與失敗數(shù)據(jù)對(duì)于提升 Action-Conditioned World Model 的建模能力具有重要意義。相比只基于成功示范訓(xùn)練的模型,納入更豐富的動(dòng)作分布、接觸過(guò)程和非理想交互結(jié)果的數(shù)據(jù),有助于模型更準(zhǔn)確地理解“動(dòng)作如何改變世界”,并在未來(lái)狀態(tài)預(yù)測(cè)中減少不符合物理規(guī)律的生成結(jié)果,也就是常說(shuō)的模型幻覺(jué)。
這也進(jìn)一步說(shuō)明,失敗數(shù)據(jù)和多樣交互數(shù)據(jù)并不是一個(gè)“錦上添花”的數(shù)據(jù)主題,而是世界模型走向真實(shí)可用過(guò)程中必須補(bǔ)上的關(guān)鍵一環(huán)。
失敗數(shù)據(jù)讓模型看見(jiàn)接觸、摩擦、重心、形變、擾動(dòng)和反饋之間真實(shí)而復(fù)雜的關(guān)系。也正是在這些關(guān)系中,機(jī)器人開(kāi)始理解世界。
04/
從學(xué)習(xí)成功動(dòng)作到理解完整物理分布
本期“多樣交互”數(shù)據(jù)集,是首次將具身智能的數(shù)據(jù)范式從“學(xué)習(xí)成功動(dòng)作”推進(jìn)到“理解完整的物理分布”。唯有汲取真實(shí)而豐富的交互數(shù)據(jù),機(jī)器人才能洞悉物理世界的運(yùn)行法則。
從成功到失敗,從動(dòng)作到反饋,從任務(wù)完成到世界理解,AGIBOT WORLD 2026 正在為下一代具身智能搭建一條更完整的數(shù)據(jù)路徑。
世界模型想要理解世界,首先要見(jiàn)過(guò)真實(shí)世界豐富的物理交互。
隨著本期數(shù)據(jù)的開(kāi)源共享,世界模型終于迎來(lái)了專屬于自己的數(shù)據(jù)集。