2025年8月10日,恰逢2025 WRC(世界機器人大會)在北京亦莊開展期間,靈生科技宣布將開源業(yè)內(nèi)首個支持異步運行的快慢雙系統(tǒng)視覺語言動作(Visual Language Action)框架——RealDualVLA。該框架突破性地實現(xiàn)了大腦機制的雙系統(tǒng)架構(gòu),通過結(jié)構(gòu)、調(diào)度與硬件的徹底解耦,為機器人復(fù)雜操作任務(wù)提供了高效協(xié)同的全新解決方案,有望推動智能機器人在工業(yè)、服務(wù)等場景的量產(chǎn)落地進程。
受人類大腦啟發(fā),RealDualVLA 構(gòu)建了兩個功能分化、異步運行的子系統(tǒng):
System2:類腦推理,負責(zé)視覺語言理解與任務(wù)規(guī)劃;
System1:以20Hz頻率生成多步動作序列,由底層控制器以200Hz執(zhí)行。
二者共享圖像與本體狀態(tài)輸入,通過異步通信完成復(fù)雜操作任務(wù)。這不僅僅是"看起來"分了兩部分,而是真正實現(xiàn)了結(jié)構(gòu)解耦、調(diào)度解耦、硬件解耦。
一、RealDualVLA 是“真”雙系統(tǒng)
在當(dāng)前社區(qū)中,很多工作“聲稱”采用了快系統(tǒng)(System1)與慢系統(tǒng)(System2)結(jié)構(gòu),但實質(zhì)上只是邏輯上的模塊劃分,其特點包括:
- 兩個系統(tǒng)運行在同一個進程/模型中;
- 無法異步調(diào)度或頻率分離;
- 同步輸入-輸出,無法并行執(zhí)行;
- 通常運行在同一個 GPU 上。
這類方法更像是快慢混合體,并不能發(fā)揮出真正雙系統(tǒng)的效率與能力差異。
RealDualVLA 則是真異步、真分離、真協(xié)作。
二、System2 與 System1:共享感知,職責(zé)分明
說明:System1 和 System2 共享相同的圖像和本體狀態(tài)輸入,都是對機器人當(dāng)前感知的處理。System2 額外接收語言輸入進行高層推理。System1 在不等待 System2 的情況下獨立運行,僅在接收到新意圖時更新控制策略。
三、靈活部署:System1 Only 與 System2 Only 版本
為滿足不同計算需求,我們提供以下獨立部署方案:
System1 Only:針對短程與低復(fù)雜度任務(wù),輕量化部署,專注低延時實時控制
System2 Only:專注復(fù)雜推理與規(guī)劃任務(wù),高性能部署,實現(xiàn)高層次語義理解
用戶可根據(jù)實際任務(wù)需求,靈活選擇雙系統(tǒng)協(xié)作或獨立子系統(tǒng)部署方案,實現(xiàn)最優(yōu)的算力分配與性能平衡。
四、異步調(diào)度架構(gòu)
System2:以人類思維節(jié)奏(~8Hz)進行語言理解與任務(wù)意圖生成;
System1:以20Hz頻率生成多步動作序列,底層控制器以200Hz逐步執(zhí)行;
二者通過中間 latent vector 通信,無阻塞、無鎖等待,可部署在兩個 GPU 上,實現(xiàn)真正的異步多系統(tǒng)協(xié)作。
五、量產(chǎn)適配優(yōu)勢
1. 硬件成本優(yōu)化:System1可部署在邊緣設(shè)備(如Jetson系列),System2支持云端協(xié)同,顯著降低單設(shè)備算力需求
2. 工業(yè)級可靠性:System1的20Hz多步預(yù)測+200Hz底層控制,確保運動平滑穩(wěn)定
3. 靈活配置:支持雙系統(tǒng)全功能、System1 Only、System2 Only三種量產(chǎn)模式
靈生科技RealDualVLA模型的開源將為機器人研發(fā)社區(qū)提供首個真雙系統(tǒng)視覺語言動作框架,助力開發(fā)者突破傳統(tǒng)控制方案的瓶頸。無論是學(xué)術(shù)研究中的算法創(chuàng)新,還是工業(yè)場景的落地驗證,該框架都將成為連接“語義理解”與“物理操作”的關(guān)鍵工具。
目前,RealDualVLA源碼已進入最終準備階段,即將正式發(fā)布。靈生科技誠邀機器人研究者、開發(fā)者關(guān)注項目動態(tài),共同探索智能機器人操作的新范式,加速機器人技術(shù)從實驗室走向規(guī)?;瘧?yīng)用。
(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關(guān)資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負任何法律責(zé)任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )