具身智能正從仿真走向真實(shí)世界大規(guī)模驗(yàn)證，但分布式異構(gòu)基礎(chǔ)設(shè)施的“碎片化”，制約了大規(guī)模真機(jī)數(shù)據(jù)采集和分布式強(qiáng)化學(xué)習(xí)效率。為突破瓶頸，智元基于云原生架構(gòu)重構(gòu)云邊算力，升級(jí)具身智能開(kāi)發(fā)平臺(tái)Genie Studio，將“零散運(yùn)維”升級(jí)為“集群化統(tǒng)一調(diào)度”，為具身智能進(jìn)化搭建穩(wěn)固可擴(kuò)展的數(shù)字底座。

隨著業(yè)務(wù)覆蓋更多真實(shí)場(chǎng)景，底層基礎(chǔ)設(shè)施復(fù)雜度劇增。制約規(guī)模化研發(fā)效率的核心問(wèn)題，已從算法延伸到底層基建穩(wěn)定性，主要面臨三大挑戰(zhàn)：

• 資源“各玩各的”：云-邊-端算力成孤島

  具身智能的算力呈現(xiàn)典型的“云-邊-端”階梯式分布。由于缺乏統(tǒng)一的資源抽象，異構(gòu)算力長(zhǎng)期處于割裂狀態(tài)，導(dǎo)致計(jì)算任務(wù)無(wú)法在全鏈路實(shí)現(xiàn)全局最優(yōu)的編排調(diào)度。

• 實(shí)驗(yàn)“反復(fù)橫跳”：環(huán)境不一致復(fù)現(xiàn)難

  傳統(tǒng)運(yùn)維工具難以在數(shù)百臺(tái)節(jié)點(diǎn)規(guī)模下維持環(huán)境一致，底層驅(qū)動(dòng)、依賴的細(xì)微偏差會(huì)導(dǎo)致實(shí)驗(yàn)結(jié)果不可復(fù)現(xiàn)，這種不斷累積的環(huán)境熵增，是分布式真機(jī)規(guī)模化驗(yàn)證必須跨越的基建門(mén)檻。

  
  

• 網(wǎng)絡(luò)“不靠譜”：移動(dòng)機(jī)器人難管控

  機(jī)器人移動(dòng)作業(yè)、跨地域分布的特性，與傳統(tǒng)中心化管理架構(gòu)不兼容，網(wǎng)絡(luò)延遲、斷連易導(dǎo)致任務(wù)管理異常，影響邊緣作業(yè)連續(xù)性。

為應(yīng)對(duì)以上挑戰(zhàn)，我們以Kubernetes和容器技術(shù)為核心，將云、邊、端異構(gòu)資源整合為一套可編程的多集群資源池，通過(guò)“聲明式編排”替代傳統(tǒng)“命令式運(yùn)維”，實(shí)現(xiàn)跨地域統(tǒng)一編排調(diào)度，從根源上鎖定了實(shí)驗(yàn)環(huán)境的一致性。

為了支撐跨地域、大規(guī)模的真機(jī)驗(yàn)證，我們?cè)贕enie Studio上搭了一套“中心管控+邊緣自治”的架構(gòu)——核心是靠“中心集群”管全局，靠“邊緣集群”管本地，具體分工清晰：

• Meta Cluster（中心管控集群）平臺(tái)的“智慧大腦”

  基于原生Kubernetes構(gòu)建。它對(duì)外提供統(tǒng)一API，負(fù)責(zé)全局資源調(diào)度、策略與鏡像分發(fā)、配置聚合等所有管控邏輯，實(shí)現(xiàn)管理平面的集中與收斂。

• Edge Cluster（邊緣自治集群）平臺(tái)的“靈活手足”

  基于開(kāi)源OpenYurt構(gòu)建，分布在不同物理地域。每個(gè)邊緣集群自主納管該區(qū)域內(nèi)的所有邊緣計(jì)算節(jié)點(diǎn)和機(jī)器人終端，實(shí)現(xiàn)低延遲響應(yīng)與離線自治。

依托這套架構(gòu)，我們?cè)谌齻€(gè)關(guān)鍵層面實(shí)現(xiàn)了突破：

對(duì)物理世界的機(jī)器人進(jìn)行節(jié)點(diǎn)建模，將其抽象為輕量化的Kubernetes計(jì)算節(jié)點(diǎn)接入邊緣集群。

統(tǒng)一接入后，通過(guò)容器技術(shù)實(shí)現(xiàn)軟件算法與底層硬件的解耦。機(jī)器人由此變成了像服務(wù)器一樣可編程、可調(diào)度、可度量的標(biāo)準(zhǔn)算力單元，極大降低了大規(guī)模節(jié)點(diǎn)的運(yùn)維成本。

為打破資源孤島并實(shí)現(xiàn)全局最優(yōu)的任務(wù)調(diào)度，平臺(tái)構(gòu)建了兩級(jí)資源池：

通過(guò)資源池化，Genie Studio向上層應(yīng)用屏蔽了底層所有復(fù)雜性。算法工程師無(wú)需關(guān)心任務(wù)具體跑在哪個(gè)城市、哪臺(tái)x86主機(jī)或ARM機(jī)器人上，只需通過(guò)統(tǒng)一API提交需求，系統(tǒng)即可自動(dòng)完成從云端訓(xùn)練到邊緣推理的全鏈路編排，實(shí)現(xiàn) “一套代碼，全局調(diào)度”。

• 邊緣自治：靠OpenYurt的YurtHub機(jī)制，就算云邊網(wǎng)絡(luò)完全斷連，邊緣節(jié)點(diǎn)也能靠本地緩存維持任務(wù)運(yùn)行。不會(huì)出現(xiàn)“云端以為邊緣離線，誤刪任務(wù)”的情況，保障真機(jī)實(shí)驗(yàn)不中斷。

  
  

• 跨地域網(wǎng)絡(luò)隧道：機(jī)器人跨地域分布于不同NAT環(huán)境，通信不便。我們通過(guò)OpenYurt Raven構(gòu)建加密隧道，實(shí)現(xiàn)跨集群、跨設(shè)備直接通信。

資源統(tǒng)一管理是基礎(chǔ)，高效任務(wù)調(diào)度是核心。Genie Studio的“真機(jī)任務(wù)聲明式管理”功能，讓工程師無(wú)需逐臺(tái)部署環(huán)境，只需在界面定義任務(wù)要求，系統(tǒng)自動(dòng)完成節(jié)點(diǎn)篩選、容器分發(fā)、任務(wù)啟動(dòng)。這既解放工程師脫離繁瑣運(yùn)維，又鎖定環(huán)境一致性，保障實(shí)驗(yàn)結(jié)果可靠可復(fù)現(xiàn)。

選擇基于云原生構(gòu)建底座，另一個(gè)巨大優(yōu)勢(shì)是能夠深度復(fù)用成熟的云原生生態(tài)體系。通過(guò)引入工業(yè)級(jí)的開(kāi)源工具鏈，我們將具身智能研發(fā)從“腳本驅(qū)動(dòng)”的模式徹底拉入全棧工程化治理的軌道。

• 全鏈路可觀測(cè)性

  通過(guò)集成Prometheus、Grafana等工具，平臺(tái)實(shí)現(xiàn)了對(duì)云、邊、端資源的深度監(jiān)控。監(jiān)控指標(biāo)從傳統(tǒng)的CPU、內(nèi)存，延伸到GPU利用率、端到端推理延遲，甚至機(jī)器人本體的電機(jī)電流、關(guān)節(jié)扭矩等硬件數(shù)據(jù)，讓研發(fā)狀態(tài)一目了然。

  
  

• 復(fù)雜工作流編排

  針對(duì)“采-訓(xùn)-測(cè)-推”這一極長(zhǎng)研發(fā)鏈路，平臺(tái)可支持引入工作流引擎，實(shí)現(xiàn)了DAG工作流編排及任務(wù)狀態(tài)機(jī)管理，將任務(wù)邏輯與底層資源解耦。系統(tǒng)會(huì)自動(dòng)將工作流每個(gè)子任務(wù)按負(fù)載動(dòng)態(tài)調(diào)度到最合適的節(jié)點(diǎn)上啟動(dòng)，并提供完善的重試、事件上報(bào)機(jī)制。

基于Genie Studio云原生邊緣集群納管，我們完成了具身智能規(guī)?；鏅C(jī)訓(xùn)練基礎(chǔ)設(shè)施構(gòu)建的第一階段：實(shí)現(xiàn)了異構(gòu)節(jié)點(diǎn)的標(biāo)準(zhǔn)化納管、研發(fā)環(huán)境的容器化封裝以及邊緣集群的自治。這套底座解決了“異構(gòu)節(jié)點(diǎn)怎么管、任務(wù)怎么發(fā)”的問(wèn)題，將具身智能研發(fā)從離散的單機(jī)調(diào)試推向了規(guī)?；募壕幣?，為后續(xù)實(shí)現(xiàn)多集群協(xié)同、高性能異步通信及分布式異步真機(jī)強(qiáng)化學(xué)習(xí)夯實(shí)了工程基礎(chǔ)。

目前，智元在大規(guī)模真機(jī)數(shù)據(jù)采集、大規(guī)模分布式真機(jī)強(qiáng)化學(xué)習(xí)等更復(fù)雜場(chǎng)景的實(shí)踐已取得顯著進(jìn)展，架構(gòu)經(jīng)規(guī)?；涞仳?yàn)證，顯著提升研發(fā)效率。

有了這套統(tǒng)一納管的底座，我們?nèi)绾蜗駟?dòng)一個(gè)本地容器一樣，一鍵拉起云邊聯(lián)合推理任務(wù)、大規(guī)模分布式真機(jī)強(qiáng)化學(xué)習(xí)訓(xùn)練任務(wù)？敬請(qǐng)期待下篇：具身智能云邊協(xié)同系列（二）《基于 HybridJob 的多集群云邊聯(lián)合任務(wù)編排》。