韩国黄大片,国产精品亚洲色图,91琪琪在线

VLA進(jìn)化到ViLLA，智元發(fā)布首個(gè)通用具身基座大模型GO-1 發(fā)布時(shí)間：2025-03-10 11:45:37

導(dǎo) 言

智元發(fā)布首個(gè)通用具身基座模型——智元啟元大模型（Genie Operator-1），它開(kāi)創(chuàng)性地提出了Vision-Language-Latent-Action (ViLLA) 架構(gòu)，該架構(gòu)由VLM(多模態(tài)大模型) + MoE(混合專(zhuān)家)組成，其中VLM借助海量互聯(lián)網(wǎng)圖文數(shù)據(jù)獲得通用場(chǎng)景感知和語(yǔ)言理解能力，MoE中的Latent Planner(隱式規(guī)劃器)借助大量跨本體和人類(lèi)操作視頻數(shù)據(jù)獲得通用的動(dòng)作理解能力，MoE中的Action Expert(動(dòng)作專(zhuān)家)借助百萬(wàn)真機(jī)數(shù)據(jù)獲得精細(xì)的動(dòng)作執(zhí)行能力，三者環(huán)環(huán)相扣，實(shí)現(xiàn)了可以利用人類(lèi)視頻學(xué)習(xí)，完成小樣本快速泛化，降低了具身智能門(mén)檻，并成功部署到智元多款機(jī)器人本體，持續(xù)進(jìn)化，將具身智能推上了一個(gè)新臺(tái)階。

研究論文:

https://agibot-world.com/blog/agibot_go1.pdf

2024年底，智元推出了 AgiBot World，包含超過(guò)100萬(wàn)條軌跡、涵蓋217個(gè)任務(wù)、涉及五大場(chǎng)景的大規(guī)模高質(zhì)量真機(jī)數(shù)據(jù)集。基于AgiBot World，智元今天正式發(fā)布智元通用具身基座大模型 Genie Operator-1（GO-1）。

01、GO-1: VLA進(jìn)化到ViLLA

為了有效利用高質(zhì)量的AgiBot World數(shù)據(jù)集以及互聯(lián)網(wǎng)大規(guī)模異構(gòu)視頻數(shù)據(jù)，增強(qiáng)策略的泛化能力，智元提出了 Vision-Language-Latent-Action (ViLLA) 這一創(chuàng)新性架構(gòu)。GO-1作為首個(gè)通用具身基座大模型，基于ViLLA構(gòu)建。與Vision-Language-Action (VLA) 架構(gòu)相比，ViLLA 通過(guò)預(yù)測(cè)Latent Action Tokens(隱式動(dòng)作標(biāo)記)，彌合圖像-文本輸入與機(jī)器人執(zhí)行動(dòng)作之間的鴻溝。在真實(shí)世界的靈巧操作和長(zhǎng)時(shí)任務(wù)方面表現(xiàn)卓越，遠(yuǎn)遠(yuǎn)超過(guò)了已有的開(kāi)源SOTA模型。

ViLLA架構(gòu)是由VLM(多模態(tài)大模型) + MoE(混合專(zhuān)家)組成，其中VLM借助海量互聯(lián)網(wǎng)圖文數(shù)據(jù)獲得通用場(chǎng)景感知和語(yǔ)言理解能力，MoE中的Latent Planner(隱式規(guī)劃器)借助大量跨本體和人類(lèi)操作數(shù)據(jù)獲得通用的動(dòng)作理解能力，MoE中的Action Expert(動(dòng)作專(zhuān)家)借助百萬(wàn)真機(jī)數(shù)據(jù)獲得精細(xì)的動(dòng)作執(zhí)行能力。在推理時(shí)，VLM、Latent Planner和Action Expert三者協(xié)同工作：

VLM 采用InternVL-2B，接收多視角視覺(jué)圖片、力覺(jué)信號(hào)、語(yǔ)言輸入等多模態(tài)信息，進(jìn)行通用的場(chǎng)景感知和指令理解；
Latent Planner是MoE中的一組專(zhuān)家，基于VLM的中間層輸出預(yù)測(cè)Latent Action Tokens作為CoP(Chain of Planning，規(guī)劃鏈)，進(jìn)行通用的動(dòng)作理解和規(guī)劃；
Action Expert是MoE中的另外一組專(zhuān)家，基于VLM的中間層輸出以及Latent Action Tokens，生成最終的精細(xì)動(dòng)作序列；

下面展開(kāi)介紹下MoE里2個(gè)關(guān)鍵的組成Latent Planner和Action Expert：

output (1).png

混合專(zhuān)家一：

Latent Planner（隱式規(guī)劃器）

盡管AgiBot World 數(shù)據(jù)集已經(jīng)是全球最大的機(jī)器人真機(jī)示教數(shù)據(jù)集，但這樣高質(zhì)量帶動(dòng)作標(biāo)簽的真機(jī)數(shù)據(jù)量仍然有限，遠(yuǎn)少于互聯(lián)網(wǎng)規(guī)模的數(shù)據(jù)集。為此，我們采用Latent Actions（隱式動(dòng)作）來(lái)建模當(dāng)前幀和歷史幀之間的隱式變化，然后通過(guò)Latent Planner預(yù)測(cè)這些Latent Actions，從而將異構(gòu)數(shù)據(jù)源中真實(shí)世界的動(dòng)作知識(shí)轉(zhuǎn)移到通用操作任務(wù)中。

Latent Action Model（LAM，隱式動(dòng)作模型）主要用于獲取當(dāng)前幀和歷史幀之間Latent Actions的Groundtruth（真值），它由編碼器和解碼器組成。其中：

編碼器采用Spatial-temporal Transformer，并使用Causal Temporal Masks（時(shí)序因果掩碼）。
解碼器采用Spatial Transformer，以初始幀和離散化的Latent Action Tokens作為輸入。
Latent Action Tokens通過(guò)VQ-VAE的方式進(jìn)行量化處理。

Latent Planner負(fù)責(zé)預(yù)測(cè)這些離散的Latent Action Tokens，它與VLM 主干網(wǎng)絡(luò)共享相同的 Transformer 結(jié)構(gòu)，但使用了兩套獨(dú)立的FFN(前饋神經(jīng)網(wǎng)絡(luò))和Q/K/V/O(查詢、鍵、值、輸出)投影矩陣。Latent Planner這組專(zhuān)家會(huì)逐層結(jié)合 VLM 輸出的中間信息，通過(guò)Cross Entropy Loss（交叉熵?fù)p失）進(jìn)行監(jiān)督訓(xùn)練。

混合專(zhuān)家二：

Action Expert（動(dòng)作專(zhuān)家）

為了實(shí)現(xiàn) High-frequency（高頻率）且 Dexterous（靈活）的操控，我們引入Action Expert，其采用Diffusion Model作為目標(biāo)函數(shù)來(lái)建模低層級(jí)動(dòng)作的連續(xù)分布。

Action Expert結(jié)構(gòu)設(shè)計(jì)上與Latent Planner類(lèi)似，也是與 VLM 主干網(wǎng)絡(luò)共享相同的 Transformer 結(jié)構(gòu)，但使用兩套獨(dú)立的FFN和Q/K/V/O投影矩陣，它通過(guò)Denoising Process（去噪過(guò)程）逐步回歸動(dòng)作序列。
Action Expert與VLM、Latent Planner分層結(jié)合，確保信息流的一致性與協(xié)同優(yōu)化。

實(shí)驗(yàn)效果

output (2).png

通過(guò)Vision-Language-Latent-Action (ViLLA) 創(chuàng)新性架構(gòu)，我們?cè)谖宸N不同復(fù)雜度任務(wù)上測(cè)試 GO-1，相比已有的最優(yōu)模型，GO-1成功率大幅領(lǐng)先，平均成功率提高了32%(46%->78%)。其中 “Pour Water”（倒水）、“Table Bussing”（清理桌面）和 “Restock Beverage”（補(bǔ)充飲料）任務(wù)表現(xiàn)尤為突出。此外我們還單獨(dú)驗(yàn)證了ViLLA 架構(gòu)中Latent Planner的作用，可以看到增加Latent Planner可以提升12%的成功率(66%->78%)。

02、GO-1具身智能的全面創(chuàng)新

GO-1大模型借助人類(lèi)和多種機(jī)器人數(shù)據(jù)，讓機(jī)器人獲得了革命性的學(xué)習(xí)能力，可泛化應(yīng)用到各類(lèi)的環(huán)境和物品中，快速適應(yīng)新任務(wù)、學(xué)習(xí)新技能。同時(shí)，它還支持部署到不同的機(jī)器人本體，高效地完成落地，并在實(shí)際的使用中持續(xù)不斷地快速進(jìn)化。

這一系列的特點(diǎn)可以歸納為4個(gè)方面：

人類(lèi)視頻學(xué)習(xí)：GO-1大模型可以結(jié)合互聯(lián)網(wǎng)視頻和真實(shí)人類(lèi)示范進(jìn)行學(xué)習(xí)，增強(qiáng)模型對(duì)人類(lèi)行為的理解，更好地為人類(lèi)服務(wù)。
小樣本快速泛化：GO-1大模型具有強(qiáng)大的泛化能力，能夠在極少數(shù)據(jù)甚至零樣本下泛化到新場(chǎng)景、新任務(wù)，降低了具身模型的使用門(mén)檻，使得后訓(xùn)練成本非常低。
一腦多形：GO-1大模型是通用機(jī)器人策略模型，能夠在不同機(jī)器人形態(tài)之間遷移，快速適配到不同本體，群體升智。
持續(xù)進(jìn)化：GO-1大模型搭配智元一整套數(shù)據(jù)回流系統(tǒng)，可以從實(shí)際執(zhí)行遇到的問(wèn)題數(shù)據(jù)中持續(xù)進(jìn)化學(xué)習(xí)，越用越聰明。

智元通用具身基座大模型GO-1的推出，標(biāo)志著具身智能向通用化、開(kāi)放化、智能化方向快速邁進(jìn)：

從單一任務(wù)到多種任務(wù)：機(jī)器人能夠在不同場(chǎng)景中執(zhí)行多種任務(wù)，而不需要針對(duì)每個(gè)新任務(wù)重新訓(xùn)練。
從封閉環(huán)境到開(kāi)放世界：機(jī)器人不再局限于實(shí)驗(yàn)室，而是可以適應(yīng)多變的真實(shí)世界環(huán)境。
從預(yù)設(shè)程序到指令泛化：機(jī)器人能夠理解自然語(yǔ)言指令，并根據(jù)語(yǔ)義進(jìn)行組合推理，而不再局限于預(yù)設(shè)程序。

GO-1大模型將加速具身智能的普及，機(jī)器人將從依賴特定任務(wù)的工具，向著具備通用智能的自主體發(fā)展，在商業(yè)、工業(yè)、家庭等多領(lǐng)域發(fā)揮更大的作用，通向更加通用全能的智能未來(lái)。

上一篇

下一篇