據(jù)工程實(shí)錄：88 小時(shí)遙操作如何裂變成 78 萬(wàn)條軌跡——潛動(dòng)作標(biāo)注、神經(jīng)軌跡、DexMimicGen 三條產(chǎn)線(xiàn)的完整拆解)
GR00T N1 數(shù)據(jù)工程實(shí)錄88 小時(shí)遙操作如何裂變成 78 萬(wàn)條軌跡——潛動(dòng)作標(biāo)注、神經(jīng)軌跡、DexMimicGen 三條產(chǎn)線(xiàn)的完整拆解本文以數(shù)據(jù)工程師的視角拆解 GR00T N1 的訓(xùn)練數(shù)據(jù)是怎么從無(wú)到有生產(chǎn)出來(lái)的。所有數(shù)字均出自論文正文與附錄代碼與數(shù)據(jù)樣例對(duì)照官方倉(cāng)庫(kù) Isaac-GR00T。最后一節(jié)回到啟元 Q1。一、先看賬本GR00T N1 的數(shù)據(jù)資產(chǎn)負(fù)債表GR00T N1 論文有一個(gè)基本判斷具身智能的瓶頸不在模型架構(gòu)而在數(shù)據(jù)——互聯(lián)網(wǎng)上不存在機(jī)器人行為的語(yǔ)料庫(kù)。模型側(cè)它的答案是雙系統(tǒng)VLM 理解場(chǎng)景Flow-Matching DiT 生成動(dòng)作但真正讓這套架構(gòu)跑起來(lái)的是數(shù)據(jù)側(cè)一條覆蓋三層的數(shù)據(jù)生產(chǎn)線(xiàn)——這也是本文的主角。做數(shù)據(jù)工程第一步是把賬算清楚。GR00T N1 的全部訓(xùn)練數(shù)據(jù)可以列成一張表數(shù)據(jù)資產(chǎn)數(shù)量折算時(shí)長(zhǎng)生產(chǎn)成本來(lái)源真機(jī)遙操作數(shù)據(jù)GR-1—88 小時(shí)人工遙操作20Hz 采集自建團(tuán)隊(duì)神經(jīng)軌跡視頻生成~30 萬(wàn)條827 小時(shí)10.5 萬(wàn) L40 GPU 時(shí)視頻模型生成仿真軌跡DexMimicGen78 萬(wàn)條6,500 小時(shí)11 小時(shí)掛機(jī)生成物理仿真人類(lèi)視頻無(wú)動(dòng)作標(biāo)簽—數(shù)十萬(wàn)小時(shí)級(jí)數(shù)據(jù)集整理Ego4D 等 7 個(gè)公開(kāi)集Open X-Embodiment——公開(kāi)集整合RT-1/Bridge-v2/DROID 等AgiBot-Alpha14 萬(wàn)條—公開(kāi)集智元 100 臺(tái)機(jī)器人兩個(gè)數(shù)字值得停下來(lái)想一想6,500 小時(shí) / 11 小時(shí)。DexMimicGen 用 11 個(gè)小時(shí)把幾十條人類(lèi)演示自動(dòng)擴(kuò)展成了 78 萬(wàn)條仿真軌跡——折算下來(lái)等于一個(gè)人類(lèi)演示員不吃不喝連續(xù)錄 9 個(gè)月。這就是論文里合成數(shù)據(jù)的杠桿率。88 小時(shí) → 827 小時(shí)。神經(jīng)軌跡這條路用視頻生成模型做同樣的事拿 88 小時(shí)真機(jī)數(shù)據(jù)微調(diào)一個(gè)圖生視頻模型再?gòu)囊延谐跏紟霭l(fā)生成反事實(shí)軌跡換個(gè)物體、換個(gè)放置位置數(shù)據(jù)量直接 10 倍。真機(jī)數(shù)據(jù)是最貴的人工遙操作但它是錨點(diǎn)——所有合成數(shù)據(jù)的質(zhì)量都靠它兜底。二、底層沒(méi)有動(dòng)作標(biāo)簽的人類(lèi)視頻怎么進(jìn)訓(xùn)練集2.1 問(wèn)題定義Ego4D、EPIC-KITCHENS 這些數(shù)據(jù)集有幾十萬(wàn)小時(shí)的人類(lèi)第一視角操作視頻是機(jī)器人最想要的行為先驗(yàn)。但它們只有一個(gè)致命問(wèn)題視頻里只有畫(huà)面沒(méi)有動(dòng)作標(biāo)注。你不知道人在操作時(shí)手臂的關(guān)節(jié)角是多少。GR00T N1 的解法分兩步先用 VQ-VAE 把畫(huà)面變化翻譯成潛動(dòng)作再把潛動(dòng)作當(dāng)作一種虛擬機(jī)型的動(dòng)作標(biāo)簽直接進(jìn)訓(xùn)練。2.2 潛動(dòng)作提取VQ-VAE 的實(shí)現(xiàn)邏輯論文對(duì)模型結(jié)構(gòu)的描述很簡(jiǎn)潔編碼器吃連續(xù)兩幀吐出離散潛動(dòng)作解碼器拿潛動(dòng)作加當(dāng)前幀重建未來(lái)幀。# 潛動(dòng)作 VQ-VAEclassLatentActionVQVAE(nn.Module): 訓(xùn)練目標(biāo)給定 (x_t, x_{tH})讓模型學(xué)會(huì)把畫(huà)面發(fā)生了什么變化 壓縮成一個(gè)離散 code z_t并用 (z_t, x_t) 重建 x_{tH} def__init__(self,codebook_size):self.encoderVideoEncoder()# 輸入當(dāng)前幀未來(lái)幀self.codebooknn.Embedding(codebook_size,d_latent)# 離散碼本self.decoderFrameDecoder()# 輸入潛動(dòng)作當(dāng)前幀defencode(self,x_t,x_future,H):z_contself.encoder(x_t,x_future)# 連續(xù)潛變量z_tquantize_nearest(z_cont,self.codebook)# VQ 量化為離散碼returnz_tdefforward(self,x_t,x_future,H):z_tself.encode(x_t,x_future,H)x_reconself.decoder(z_t,x_t)# z_t 當(dāng)前幀 - 未來(lái)幀returnvqvae_loss(x_recon,x_future,z_cont,z_t)# 訓(xùn)練完成后編碼器即逆動(dòng)力學(xué)模型# 輸入任意兩幀輸出潛動(dòng)作標(biāo)簽供策略預(yù)訓(xùn)練使用deflabel_video_with_latent_actions(vqvae,video,H):return[vqvae.encode(video[t],video[tH],H)fortinrange(0,len(video)-H)]這里最巧妙的設(shè)計(jì)是把潛動(dòng)作當(dāng)成一個(gè)獨(dú)立機(jī)型論文稱(chēng) LAPA embodiment。策略模型不需要知道潛動(dòng)作和真機(jī)動(dòng)作的區(qū)別它們?cè)谟?xùn)練管道里地位完全相同——一個(gè)統(tǒng)一了所有數(shù)據(jù)源的動(dòng)作接口。2.3 潛動(dòng)作真的跨機(jī)型一致嗎論文 Figure 4 給了一個(gè)很有說(shuō)服力的驗(yàn)證在 8 種不同機(jī)型含人類(lèi)的視頻里檢索相似潛動(dòng)作同一個(gè)潛動(dòng)作 1在所有機(jī)型上對(duì)應(yīng)的都是右臂向左移“潛動(dòng)作 2對(duì)應(yīng)的都是右臂向右移”。潛空間自己學(xué)出了移動(dòng)方向這種與具體機(jī)體無(wú)關(guān)的運(yùn)動(dòng)語(yǔ)義。這就是跨機(jī)型訓(xùn)練能 work 的根基。三、中層上神經(jīng)軌跡——用視頻模型腦補(bǔ)反事實(shí)數(shù)據(jù)3.1 生產(chǎn)流水線(xiàn)全流程神經(jīng)軌跡的完整生產(chǎn)流程我按論文 Sec 2.2 和附錄 F 的描述整理成流水線(xiàn)# 神經(jīng)軌跡生產(chǎn)流水線(xiàn)defneural_trajectory_pipeline(real_teleop_data):# Stage 1: 微調(diào)圖生視頻模型# 真實(shí)數(shù)據(jù): 3000 條樣本, 480P, 81 幀/條, 帶語(yǔ)言標(biāo)注video_modelfinetune_img2vid_model(real_teleop_data,epochs100)# Stage 2: 生成新任務(wù)指令# 用多模態(tài) LLM 檢測(cè)初始幀中的物體枚舉物理合理的組合forinitial_frameincollect_initial_frames(real_teleop_data):objectsmllm.detect_objects(initial_frame)promptsmllm.generate_combinations(templatepick up {obj} from {src} to {dst},objectsobjects,constraintonly physically feasible combinations)# Stage 3: 生成視頻2 分鐘 L40 時(shí)間生成 1 秒視頻forpromptinprompts:videovideo_model.generate(initial_frame,prompt)# Stage 4: 質(zhì)量過(guò)濾——多模態(tài) LLM 當(dāng)裁判keyframesdownsample(video,n8)ifnotmllm.judge_follows_instruction(keyframes,prompt):continue# 濾掉不聽(tīng)指令的captionmllm.recaption(video)# 重新生成高質(zhì)量標(biāo)注# Stage 5: 動(dòng)作標(biāo)注兩條路latent_actionsvqvae.label(video)# 路線(xiàn) A: 潛動(dòng)作pseudo_actionsidm.predict(video)# 路線(xiàn) B: 逆動(dòng)力學(xué)模型偽動(dòng)作yieldTrainingSample(video,caption,latent_actions,pseudo_actions)3.2 三個(gè)工程細(xì)節(jié)細(xì)節(jié)一指令多樣性是編出來(lái)的。生成模型自己不會(huì)想我該生成什么任務(wù)多樣性完全靠 Stage 2 的 LLM 組合枚舉——檢測(cè)初始幀里有什么物體然后按把 X 從 A 拿到 B的模板窮舉物理合理的組合。左hand改右手、盤(pán)子換籃子一條真機(jī)數(shù)據(jù)就這樣裂變成幾十條合成數(shù)據(jù)。細(xì)節(jié)二質(zhì)量過(guò)濾靠AI 裁判。生成視頻最大的坑是模型不嚴(yán)格遵守指令讓它拿黃瓜它拿了蘋(píng)果。論文的做法是降采樣 8 幀喂給另一個(gè)多模態(tài) LLM 判卷不合格的直接丟棄合格的用 LLM 重新標(biāo)注recaption。整條流水線(xiàn)沒(méi)有人工質(zhì)檢環(huán)節(jié)——這個(gè)規(guī)模30 萬(wàn)條也確實(shí)沒(méi)法人工質(zhì)檢。細(xì)節(jié)三生成成本要算總賬。L40 上 2 分鐘生成 1 秒視頻827 小時(shí)視頻 105,000 L40 GPU 時(shí)用 3600 塊 L40 并行跑了約 1.5 天。折算云成本大約 15-30 萬(wàn)美元。貴嗎對(duì)比人工遙操作每小時(shí)真機(jī)數(shù)據(jù)的成本設(shè)備折舊 操作員工時(shí) 數(shù)據(jù)管理這個(gè)價(jià)格反而便宜——而且是一次性投入。四、中層下仿真軌跡——DexMimicGen 的自動(dòng)擴(kuò)展仿真這條線(xiàn)的核心工具是 DexMimicGenNVIDIA 參與的開(kāi)源項(xiàng)目。它的原理可以概括為演示切割 物體對(duì)齊 自動(dòng)重放# DexMimicGen 數(shù)據(jù)擴(kuò)展原理defdexmimicgen_expand(few_human_demos,simulator):# 1) 演示切割把完整演示拆成以物體為中心的子任務(wù)片段segments[]fordemoinfew_human_demos:segmentssegment_by_object(demo)# 抓蘋(píng)果是一段開(kāi)抽屜是另一段# 2) 環(huán)境隨機(jī)化新場(chǎng)景里物體位置隨機(jī)擺放fornew_envinrandomize_scenes(simulator,n_scenes10000):forseginsegments:# 3) 片段變換保持末端執(zhí)行器-物體相對(duì)位姿把片段# 適配到新環(huán)境中物體的新位置transformedtransform_segment(seg,align_tonew_env.objects[seg.target_object])# 4) 插值銜接 逐步重放 成功校驗(yàn)replay_with_interpolation(simulator,transformed,verify_successTrue)# 只有校驗(yàn)成功的軌跡才入庫(kù)只保留成功軌跡這一步很關(guān)鍵——仿真里校驗(yàn)成功的標(biāo)準(zhǔn)是確定的物體進(jìn)了目標(biāo)容器沒(méi)有所以仿真數(shù)據(jù)天然帶高質(zhì)量標(biāo)簽這也是它和神經(jīng)軌跡最大的區(qū)別仿真給的是有真值動(dòng)作的數(shù)據(jù)神經(jīng)軌跡給的只有偽標(biāo)簽。任務(wù)體系上仿真數(shù)據(jù)基于 RoboCasa 框架構(gòu)建任務(wù)形式統(tǒng)一為把 A 從 B 重排到 C覆蓋 54 種容器組合每種組合生成 1 萬(wàn)條演示合計(jì) 54 萬(wàn)條預(yù)訓(xùn)練部分加上后訓(xùn)練共 78 萬(wàn)條。五、頂層88 小時(shí)真機(jī)數(shù)據(jù)是怎么采集的頂層數(shù)據(jù)量最小但采集工程反而最重。論文列了三套遙操作方案方案硬件捕捉內(nèi)容定位方案一Manus Glove VIVE Ultimate Tracker腕部 6-DoF 手指骨架高精度主力方案方案二Apple Vision Pro頭顯 手勢(shì)消費(fèi)級(jí)備選方案三Leap Motion腕部 6-DoF 手指仿真數(shù)據(jù)采集用采集流程操作員穿戴設(shè)備 → 實(shí)時(shí)動(dòng)作捕捉 → 逆運(yùn)動(dòng)學(xué)重定向到 GR-1 全身 IK 控制器 → 20Hz 控制頻率執(zhí)行 → 同時(shí)記錄頭部相機(jī)圖像 人體本體感知 動(dòng)作序列。標(biāo)注分兩層細(xì)粒度抓取/移動(dòng)/放置等原子動(dòng)作和粗粒度高層任務(wù)描述分層標(biāo)注支撐了策略同時(shí)學(xué)精確運(yùn)動(dòng)控制和高層任務(wù)推理。六、混合訓(xùn)練三層數(shù)據(jù)怎么下鍋數(shù)據(jù)生產(chǎn)完最后一道工序是混合。論文 Table 1 給出了每類(lèi)數(shù)據(jù)適用的標(biāo)注技術(shù)我轉(zhuǎn)譯成一張操作矩陣數(shù)據(jù)類(lèi)型潛動(dòng)作標(biāo)注神經(jīng)軌跡擴(kuò)展仿真擴(kuò)展真機(jī)數(shù)據(jù)可用可用可用仿真數(shù)據(jù)可用可用—人類(lèi)視頻可用——預(yù)訓(xùn)練時(shí)跨三層混合采樣后訓(xùn)練時(shí)針對(duì)單一機(jī)型微調(diào)并探索了真實(shí)數(shù)據(jù) : 神經(jīng)軌跡 1:1的混合比例?；旌线@件事在官方倉(cāng)庫(kù)里有一套完整的工程實(shí)現(xiàn)三個(gè)關(guān)鍵環(huán)節(jié)都能在代碼里找到環(huán)節(jié)一多數(shù)據(jù)集加權(quán)采樣。訓(xùn)練入口腳本 examples/finetune.sh 提供了數(shù)據(jù)混合的調(diào)度參數(shù)# examples/finetune.shGLOBAL_BATCH_SIZE${GLOBAL_BATCH_SIZE:-32}SHARD_SIZE${SHARD_SIZE:-1024}NUM_SHARDS_PER_EPOCH${NUM_SHARDS_PER_EPOCH:-100000}EPISODE_SAMPLING_RATE${EPISODE_SAMPLING_RATE:-0.1}# 單 episode 被采到的概率DS_WEIGHTS_ALPHA${DS_WEIGHTS_ALPHA:-}# 多數(shù)據(jù)集采樣權(quán)重dataset_path 參數(shù)本身接受 os.pathsep 分隔的多個(gè)數(shù)據(jù)集根目錄gr00t/configs/finetune_config.py配合 DS_WEIGHTS_ALPHA 控制每個(gè)數(shù)據(jù)集在混合桶里的占比——論文里三層混合采樣落到工程上就是這幾個(gè)旋鈕。環(huán)節(jié)二跨數(shù)據(jù)集統(tǒng)計(jì)量合并。不同數(shù)據(jù)集的狀態(tài)/動(dòng)作分布不同歸一化參數(shù)必須合并計(jì)算。真實(shí)實(shí)現(xiàn)gr00t/data/dataset/sharded_mixture_dataset.pydefmerge_statistics(per_dataset_stats,dataset_sampling_weights,...):按采樣權(quán)重合并多數(shù)據(jù)集統(tǒng)計(jì)量公式 Var_combined Σ(w_i * (σ_i2 μ_i2)) - (Σ(w_i * μ_i))2 dataset_sampling_weightsnp.array(dataset_sampling_weights)normalized_weightsdataset_sampling_weights/dataset_sampling_weights.sum()# ...... 加權(quán)合并 mean/std跨數(shù)據(jù)集取全局 min/max/q01/q99 ......。一個(gè)容易被忽略的細(xì)節(jié)mean/std 按權(quán)重加權(quán)但 q01/q99 是跨數(shù)據(jù)集取 min/max 包絡(luò)——保證任何一條數(shù)據(jù)歸一化后都不會(huì)超出 [0,1] 區(qū)間。環(huán)節(jié)三歸一化分位數(shù)。數(shù)據(jù)統(tǒng)計(jì)默認(rèn)用 1%/99% 分位數(shù)而不是絕對(duì)極值gr00t/data/stats.pyq01np.quantile(np_data,0.01,axis0).tolist(),q99np.quantile(np_data,0.99,axis0).tolist(),遙操作數(shù)據(jù)里總有幾幀異常抖動(dòng)用絕對(duì) min/max 歸一化會(huì)把有效信號(hào)壓得很窄分位數(shù)歸一化是機(jī)器人數(shù)據(jù)管線(xiàn)的標(biāo)配——Q1 將來(lái)做數(shù)據(jù)管線(xiàn)這一條直接抄。數(shù)據(jù)策略的實(shí)驗(yàn)回報(bào)。論文的消融實(shí)驗(yàn)驗(yàn)證了這套體系每一環(huán)的含金量后訓(xùn)練混入神經(jīng)軌跡RoboCasa 30/100/300 演示檔分別提升 4.2%/8.8%/6.8%中等數(shù)據(jù)檔收益最大真機(jī) 10% 數(shù)據(jù)檔平均提升 5.8%。這套體系養(yǎng)出來(lái)的模型仿真三基準(zhǔn)平均成功率 45.0%、真機(jī) 13 任務(wù)平均 76.8%均為同數(shù)據(jù)量對(duì)比中的最優(yōu)而整座數(shù)據(jù)金字塔最終兌成的總賬是只用 10% 真機(jī)數(shù)據(jù)42.6%幾乎追平 Diffusion Policy 全量數(shù)據(jù)的成績(jī)46.4%。數(shù)據(jù)生產(chǎn)體系的杠桿在實(shí)驗(yàn)上是被驗(yàn)證過(guò)的杠桿。七、啟元 Q1 的數(shù)據(jù)工程開(kāi)工清單把 GR00T N1 的數(shù)據(jù)方法論壓到 Q1 的尺度我的判斷是Q1 的數(shù)據(jù)金字塔不需要 GR00T N1 的量級(jí)但需要同樣的結(jié)構(gòu)。對(duì)照開(kāi)工清單第一優(yōu)先級(jí)把規(guī)則轉(zhuǎn)成數(shù)據(jù)現(xiàn)在就能做Q1 每個(gè)技能包的 JSON 配置motions、emotion_id、led、lines本身就是結(jié)構(gòu)化的行為描述。把技能包的執(zhí)行過(guò)程錄制成圖像 語(yǔ)言指令 動(dòng)作序列三元組現(xiàn)有鼓勵(lì)/早安/倒計(jì)時(shí)三個(gè)技能立即變成種子數(shù)據(jù)。這是 Q1 手里唯一零成本的數(shù)據(jù)資產(chǎn)不錄就浪費(fèi)了。錄的時(shí)候格式別自己發(fā)明直接對(duì)齊 GR00T 的 LeRobot 格式——倉(cāng)庫(kù)自帶了一個(gè)標(biāo)準(zhǔn)樣例 demo_data/cube_to_bowl_5目錄結(jié)構(gòu)是三層cube_to_bowl_5/ ├── data/chunk-000/episode_000000.parquet# 狀態(tài)動(dòng)作每 episode 一個(gè) parquet├── videos/chunk-000/observation.images.front/# 相機(jī)視頻每路一個(gè)目錄└── meta/modality.json# 模態(tài)切片聲明關(guān)鍵其中 modality.json 聲明了狀態(tài)/動(dòng)作向量的切片方式{state:{single_arm:{start:0,end:5},gripper:{start:5,end:6}},action:{single_arm:{start:0,end:5},gripper:{start:5,end:6}},video:{front:{original_key:observation.images.front},wrist:{original_key:observation.images.wrist}},annotation:{human.task_description:{original_key:task_index}}}這套格式的價(jià)值在于切片聲明與數(shù)據(jù)分離動(dòng)作向量里哪幾維是手臂、哪幾維是夾爪由 modality.json 聲明而不是隱含在數(shù)據(jù)里訓(xùn)練側(cè)按聲明切片組合。Q1 的技能包導(dǎo)出腳本只要落成這個(gè)格式將來(lái)接 GR00T 后訓(xùn)練管線(xiàn)就是零改造。第二優(yōu)先級(jí)仿真數(shù)據(jù)1-2 個(gè)月Q1 只需仿真上肢動(dòng)作物理復(fù)雜度遠(yuǎn)低于 GR-1 全身靈巧手。用 Isaac Sim 搭 Q1 數(shù)字孿生把招手比心這類(lèi)動(dòng)作做成參數(shù)化任務(wù)幅度、次數(shù)、時(shí)長(zhǎng)可調(diào)DexMimicGen 式的演示切割 重放 成功校驗(yàn)可以直接套用。目標(biāo)量級(jí)幾十小時(shí)仿真數(shù)據(jù)就夠后訓(xùn)練用。第三優(yōu)先級(jí)遙操作設(shè)備選型同步啟動(dòng)參考 GR00T N1 的三套方案Q1 的合理選擇是 Leap Motion約幾百元捕捉上肢 手指正好覆蓋 Q1 的動(dòng)作空間不必上 VIVE 數(shù)據(jù)手套的全身方案。暫不建議碰的人類(lèi)視頻預(yù)訓(xùn)練潛動(dòng)作預(yù)訓(xùn)練的收益來(lái)自海量數(shù)據(jù)Q1 的場(chǎng)景太窄上肢交互直接在人類(lèi)視頻上做潛動(dòng)作預(yù)訓(xùn)練的性?xún)r(jià)比不高。更務(wù)實(shí)的路線(xiàn)是等 Q1 仿真數(shù)據(jù)攢起來(lái)后直接微調(diào) GR00T N1 的開(kāi)源權(quán)重——它的底層先驗(yàn) NVIDIA 已經(jīng)替你預(yù)訓(xùn)練好了。一句話(huà)總結(jié)GR00T N1 證明了數(shù)據(jù)不夠工程來(lái)湊是可行的——88 小時(shí)真機(jī)數(shù)據(jù) 視頻生成 仿真擴(kuò)展 潛動(dòng)作標(biāo)注四件套把數(shù)據(jù)問(wèn)題從有沒(méi)有變成了怎么生產(chǎn)。Q1 要抄的不是數(shù)據(jù)本身是這套生產(chǎn)體系。論文信息GR00T N1: An Open Foundation Model for Generalist Humanoid RobotsNVIDIA2025 年 3 月arXiv2503.14734開(kāi)源項(xiàng)目信息項(xiàng)目地址https://github.com/NVIDIA/Isaac-GR00T項(xiàng)目定位GR00T N1 系列基礎(chǔ)模型的官方實(shí)現(xiàn)Apache 2.0 協(xié)議數(shù)據(jù)資產(chǎn)倉(cāng)庫(kù)自帶 5 個(gè) LeRobot 格式演示數(shù)據(jù)集demo_data/ 目錄含 parquet、相機(jī)視頻與模態(tài)聲明格式規(guī)范見(jiàn) getting_started/data_preparation.md數(shù)據(jù)工具統(tǒng)計(jì)量生成gr00t/data/stats.py、多數(shù)據(jù)集混合sharded_mixture_dataset.py、機(jī)型模態(tài)配置注冊(cè)gr00t/configs/data/embodiment_configs.py格式參考本文引用的 modality.json 樣例出自 demo_data/cube_to_bowl_5可直接作為自建數(shù)據(jù)集的格式模板訪(fǎng)問(wèn)啟元機(jī)器人開(kāi)發(fā)者社區(qū)獲取 SDK、仿真工具、開(kāi)發(fā)文檔完成從代碼仿真到真機(jī)落地的全流程開(kāi)發(fā)https://dev.primebot.com/ GR00T N1 數(shù)據(jù)工程實(shí)錄：88 小時(shí)遙操作如何裂變成 78 萬(wàn)條軌跡——潛動(dòng)作標(biāo)注、神經(jīng)軌跡、DexMimicGen 三條產(chǎn)線(xiàn)的完整拆解
GR00T N1 數(shù)據(jù)工程實(shí)錄88 小時(shí)遙操作如何裂變成 78 萬(wàn)條軌跡——潛動(dòng)作標(biāo)注、神經(jīng)軌跡、DexMimicGen 三條產(chǎn)線(xiàn)的完整拆解本文以數(shù)據(jù)工程師的視角拆解 GR00T N1 的訓(xùn)練數(shù)據(jù)是怎么從無(wú)到有生產(chǎn)出來(lái)的。所有數(shù)字均出自論文正文與附錄代碼與數(shù)據(jù)樣例對(duì)照官方倉(cāng)庫(kù) Isaac-GR00T。最后一節(jié)回到啟元 Q1。一、先看賬本GR00T N1 的數(shù)據(jù)資產(chǎn)負(fù)債表GR00T N1 論文有一個(gè)基本判斷具身智能的瓶頸不在模型架構(gòu)而在數(shù)據(jù)——互聯(lián)網(wǎng)上不存在機(jī)器人行為的語(yǔ)料庫(kù)。模型側(cè)它的答案是雙系統(tǒng)VLM 理解場(chǎng)景Flow-Matching DiT 生成動(dòng)作但真正讓這套架構(gòu)跑起來(lái)的是數(shù)據(jù)側(cè)一條覆蓋三層的數(shù)據(jù)生產(chǎn)線(xiàn)——這也是本文的主角。做數(shù)據(jù)工程第一步是把賬算清楚。GR00T N1 的全部訓(xùn)練數(shù)據(jù)可以列成一張表數(shù)據(jù)資產(chǎn)數(shù)量折算時(shí)長(zhǎng)生產(chǎn)成本來(lái)源真機(jī)遙操作數(shù)據(jù)GR-1—88 小時(shí)人工遙操作20Hz 采集自建團(tuán)隊(duì)神經(jīng)軌跡視頻生成~30 萬(wàn)條827 小時(shí)10.5 萬(wàn) L40 GPU 時(shí)視頻模型生成仿真軌跡DexMimicGen78 萬(wàn)條6,500 小時(shí)11 小時(shí)掛機(jī)生成物理仿真人類(lèi)視頻無(wú)動(dòng)作標(biāo)簽—數(shù)十萬(wàn)小時(shí)級(jí)數(shù)據(jù)集整理Ego4D 等 7 個(gè)公開(kāi)集Open X-Embodiment——公開(kāi)集整合RT-1/Bridge-v2/DROID 等AgiBot-Alpha14 萬(wàn)條—公開(kāi)集智元 100 臺(tái)機(jī)器人兩個(gè)數(shù)字值得停下來(lái)想一想6,500 小時(shí) / 11 小時(shí)。DexMimicGen 用 11 個(gè)小時(shí)把幾十條人類(lèi)演示自動(dòng)擴(kuò)展成了 78 萬(wàn)條仿真軌跡——折算下來(lái)等于一個(gè)人類(lèi)演示員不吃不喝連續(xù)錄 9 個(gè)月。這就是論文里合成數(shù)據(jù)的杠桿率。88 小時(shí) → 827 小時(shí)。神經(jīng)軌跡這條路用視頻生成模型做同樣的事拿 88 小時(shí)真機(jī)數(shù)據(jù)微調(diào)一個(gè)圖生視頻模型再?gòu)囊延谐跏紟霭l(fā)生成反事實(shí)軌跡換個(gè)物體、換個(gè)放置位置數(shù)據(jù)量直接 10 倍。真機(jī)數(shù)據(jù)是最貴的人工遙操作但它是錨點(diǎn)——所有合成數(shù)據(jù)的質(zhì)量都靠它兜底。二、底層沒(méi)有動(dòng)作標(biāo)簽的人類(lèi)視頻怎么進(jìn)訓(xùn)練集2.1 問(wèn)題定義Ego4D、EPIC-KITCHENS 這些數(shù)據(jù)集有幾十萬(wàn)小時(shí)的人類(lèi)第一視角操作視頻是機(jī)器人最想要的行為先驗(yàn)。但它們只有一個(gè)致命問(wèn)題視頻里只有畫(huà)面沒(méi)有動(dòng)作標(biāo)注。你不知道人在操作時(shí)手臂的關(guān)節(jié)角是多少。GR00T N1 的解法分兩步先用 VQ-VAE 把畫(huà)面變化翻譯成潛動(dòng)作再把潛動(dòng)作當(dāng)作一種虛擬機(jī)型的動(dòng)作標(biāo)簽直接進(jìn)訓(xùn)練。2.2 潛動(dòng)作提取VQ-VAE 的實(shí)現(xiàn)邏輯論文對(duì)模型結(jié)構(gòu)的描述很簡(jiǎn)潔編碼器吃連續(xù)兩幀吐出離散潛動(dòng)作解碼器拿潛動(dòng)作加當(dāng)前幀重建未來(lái)幀。# 潛動(dòng)作 VQ-VAEclassLatentActionVQVAE(nn.Module): 訓(xùn)練目標(biāo)給定 (x_t, x_{tH})讓模型學(xué)會(huì)把畫(huà)面發(fā)生了什么變化 壓縮成一個(gè)離散 code z_t并用 (z_t, x_t) 重建 x_{tH} def__init__(self,codebook_size):self.encoderVideoEncoder()# 輸入當(dāng)前幀未來(lái)幀self.codebooknn.Embedding(codebook_size,d_latent)# 離散碼本self.decoderFrameDecoder()# 輸入潛動(dòng)作當(dāng)前幀defencode(self,x_t,x_future,H):z_contself.encoder(x_t,x_future)# 連續(xù)潛變量z_tquantize_nearest(z_cont,self.codebook)# VQ 量化為離散碼returnz_tdefforward(self,x_t,x_future,H):z_tself.encode(x_t,x_future,H)x_reconself.decoder(z_t,x_t)# z_t 當(dāng)前幀 - 未來(lái)幀returnvqvae_loss(x_recon,x_future,z_cont,z_t)# 訓(xùn)練完成后編碼器即逆動(dòng)力學(xué)模型# 輸入任意兩幀輸出潛動(dòng)作標(biāo)簽供策略預(yù)訓(xùn)練使用deflabel_video_with_latent_actions(vqvae,video,H):return[vqvae.encode(video[t],video[tH],H)fortinrange(0,len(video)-H)]這里最巧妙的設(shè)計(jì)是把潛動(dòng)作當(dāng)成一個(gè)獨(dú)立機(jī)型論文稱(chēng) LAPA embodiment。策略模型不需要知道潛動(dòng)作和真機(jī)動(dòng)作的區(qū)別它們?cè)谟?xùn)練管道里地位完全相同——一個(gè)統(tǒng)一了所有數(shù)據(jù)源的動(dòng)作接口。2.3 潛動(dòng)作真的跨機(jī)型一致嗎論文 Figure 4 給了一個(gè)很有說(shuō)服力的驗(yàn)證在 8 種不同機(jī)型含人類(lèi)的視頻里檢索相似潛動(dòng)作同一個(gè)潛動(dòng)作 1在所有機(jī)型上對(duì)應(yīng)的都是右臂向左移“潛動(dòng)作 2對(duì)應(yīng)的都是右臂向右移”。潛空間自己學(xué)出了移動(dòng)方向這種與具體機(jī)體無(wú)關(guān)的運(yùn)動(dòng)語(yǔ)義。這就是跨機(jī)型訓(xùn)練能 work 的根基。三、中層上神經(jīng)軌跡——用視頻模型腦補(bǔ)反事實(shí)數(shù)據(jù)3.1 生產(chǎn)流水線(xiàn)全流程神經(jīng)軌跡的完整生產(chǎn)流程我按論文 Sec 2.2 和附錄 F 的描述整理成流水線(xiàn)# 神經(jīng)軌跡生產(chǎn)流水線(xiàn)defneural_trajectory_pipeline(real_teleop_data):# Stage 1: 微調(diào)圖生視頻模型# 真實(shí)數(shù)據(jù): 3000 條樣本, 480P, 81 幀/條, 帶語(yǔ)言標(biāo)注video_modelfinetune_img2vid_model(real_teleop_data,epochs100)# Stage 2: 生成新任務(wù)指令# 用多模態(tài) LLM 檢測(cè)初始幀中的物體枚舉物理合理的組合forinitial_frameincollect_initial_frames(real_teleop_data):objectsmllm.detect_objects(initial_frame)promptsmllm.generate_combinations(templatepick up {obj} from {src} to {dst},objectsobjects,constraintonly physically feasible combinations)# Stage 3: 生成視頻2 分鐘 L40 時(shí)間生成 1 秒視頻forpromptinprompts:videovideo_model.generate(initial_frame,prompt)# Stage 4: 質(zhì)量過(guò)濾——多模態(tài) LLM 當(dāng)裁判keyframesdownsample(video,n8)ifnotmllm.judge_follows_instruction(keyframes,prompt):continue# 濾掉不聽(tīng)指令的captionmllm.recaption(video)# 重新生成高質(zhì)量標(biāo)注# Stage 5: 動(dòng)作標(biāo)注兩條路latent_actionsvqvae.label(video)# 路線(xiàn) A: 潛動(dòng)作pseudo_actionsidm.predict(video)# 路線(xiàn) B: 逆動(dòng)力學(xué)模型偽動(dòng)作yieldTrainingSample(video,caption,latent_actions,pseudo_actions)3.2 三個(gè)工程細(xì)節(jié)細(xì)節(jié)一指令多樣性是編出來(lái)的。生成模型自己不會(huì)想我該生成什么任務(wù)多樣性完全靠 Stage 2 的 LLM 組合枚舉——檢測(cè)初始幀里有什么物體然后按把 X 從 A 拿到 B的模板窮舉物理合理的組合。左hand改右手、盤(pán)子換籃子一條真機(jī)數(shù)據(jù)就這樣裂變成幾十條合成數(shù)據(jù)。細(xì)節(jié)二質(zhì)量過(guò)濾靠AI 裁判。生成視頻最大的坑是模型不嚴(yán)格遵守指令讓它拿黃瓜它拿了蘋(píng)果。論文的做法是降采樣 8 幀喂給另一個(gè)多模態(tài) LLM 判卷不合格的直接丟棄合格的用 LLM 重新標(biāo)注recaption。整條流水線(xiàn)沒(méi)有人工質(zhì)檢環(huán)節(jié)——這個(gè)規(guī)模30 萬(wàn)條也確實(shí)沒(méi)法人工質(zhì)檢。細(xì)節(jié)三生成成本要算總賬。L40 上 2 分鐘生成 1 秒視頻827 小時(shí)視頻 105,000 L40 GPU 時(shí)用 3600 塊 L40 并行跑了約 1.5 天。折算云成本大約 15-30 萬(wàn)美元。貴嗎對(duì)比人工遙操作每小時(shí)真機(jī)數(shù)據(jù)的成本設(shè)備折舊 操作員工時(shí) 數(shù)據(jù)管理這個(gè)價(jià)格反而便宜——而且是一次性投入。四、中層下仿真軌跡——DexMimicGen 的自動(dòng)擴(kuò)展仿真這條線(xiàn)的核心工具是 DexMimicGenNVIDIA 參與的開(kāi)源項(xiàng)目。它的原理可以概括為演示切割 物體對(duì)齊 自動(dòng)重放# DexMimicGen 數(shù)據(jù)擴(kuò)展原理defdexmimicgen_expand(few_human_demos,simulator):# 1) 演示切割把完整演示拆成以物體為中心的子任務(wù)片段segments[]fordemoinfew_human_demos:segmentssegment_by_object(demo)# 抓蘋(píng)果是一段開(kāi)抽屜是另一段# 2) 環(huán)境隨機(jī)化新場(chǎng)景里物體位置隨機(jī)擺放fornew_envinrandomize_scenes(simulator,n_scenes10000):forseginsegments:# 3) 片段變換保持末端執(zhí)行器-物體相對(duì)位姿把片段# 適配到新環(huán)境中物體的新位置transformedtransform_segment(seg,align_tonew_env.objects[seg.target_object])# 4) 插值銜接 逐步重放 成功校驗(yàn)replay_with_interpolation(simulator,transformed,verify_successTrue)# 只有校驗(yàn)成功的軌跡才入庫(kù)只保留成功軌跡這一步很關(guān)鍵——仿真里校驗(yàn)成功的標(biāo)準(zhǔn)是確定的物體進(jìn)了目標(biāo)容器沒(méi)有所以仿真數(shù)據(jù)天然帶高質(zhì)量標(biāo)簽這也是它和神經(jīng)軌跡最大的區(qū)別仿真給的是有真值動(dòng)作的數(shù)據(jù)神經(jīng)軌跡給的只有偽標(biāo)簽。任務(wù)體系上仿真數(shù)據(jù)基于 RoboCasa 框架構(gòu)建任務(wù)形式統(tǒng)一為把 A 從 B 重排到 C覆蓋 54 種容器組合每種組合生成 1 萬(wàn)條演示合計(jì) 54 萬(wàn)條預(yù)訓(xùn)練部分加上后訓(xùn)練共 78 萬(wàn)條。五、頂層88 小時(shí)真機(jī)數(shù)據(jù)是怎么采集的頂層數(shù)據(jù)量最小但采集工程反而最重。論文列了三套遙操作方案方案硬件捕捉內(nèi)容定位方案一Manus Glove VIVE Ultimate Tracker腕部 6-DoF 手指骨架高精度主力方案方案二Apple Vision Pro頭顯 手勢(shì)消費(fèi)級(jí)備選方案三Leap Motion腕部 6-DoF 手指仿真數(shù)據(jù)采集用采集流程操作員穿戴設(shè)備 → 實(shí)時(shí)動(dòng)作捕捉 → 逆運(yùn)動(dòng)學(xué)重定向到 GR-1 全身 IK 控制器 → 20Hz 控制頻率執(zhí)行 → 同時(shí)記錄頭部相機(jī)圖像 人體本體感知 動(dòng)作序列。標(biāo)注分兩層細(xì)粒度抓取/移動(dòng)/放置等原子動(dòng)作和粗粒度高層任務(wù)描述分層標(biāo)注支撐了策略同時(shí)學(xué)精確運(yùn)動(dòng)控制和高層任務(wù)推理。六、混合訓(xùn)練三層數(shù)據(jù)怎么下鍋數(shù)據(jù)生產(chǎn)完最后一道工序是混合。論文 Table 1 給出了每類(lèi)數(shù)據(jù)適用的標(biāo)注技術(shù)我轉(zhuǎn)譯成一張操作矩陣數(shù)據(jù)類(lèi)型潛動(dòng)作標(biāo)注神經(jīng)軌跡擴(kuò)展仿真擴(kuò)展真機(jī)數(shù)據(jù)可用可用可用仿真數(shù)據(jù)可用可用—人類(lèi)視頻可用——預(yù)訓(xùn)練時(shí)跨三層混合采樣后訓(xùn)練時(shí)針對(duì)單一機(jī)型微調(diào)并探索了真實(shí)數(shù)據(jù) : 神經(jīng)軌跡 1:1的混合比例?；旌线@件事在官方倉(cāng)庫(kù)里有一套完整的工程實(shí)現(xiàn)三個(gè)關(guān)鍵環(huán)節(jié)都能在代碼里找到環(huán)節(jié)一多數(shù)據(jù)集加權(quán)采樣。訓(xùn)練入口腳本 examples/finetune.sh 提供了數(shù)據(jù)混合的調(diào)度參數(shù)# examples/finetune.shGLOBAL_BATCH_SIZE${GLOBAL_BATCH_SIZE:-32}SHARD_SIZE${SHARD_SIZE:-1024}NUM_SHARDS_PER_EPOCH${NUM_SHARDS_PER_EPOCH:-100000}EPISODE_SAMPLING_RATE${EPISODE_SAMPLING_RATE:-0.1}# 單 episode 被采到的概率DS_WEIGHTS_ALPHA${DS_WEIGHTS_ALPHA:-}# 多數(shù)據(jù)集采樣權(quán)重dataset_path 參數(shù)本身接受 os.pathsep 分隔的多個(gè)數(shù)據(jù)集根目錄gr00t/configs/finetune_config.py配合 DS_WEIGHTS_ALPHA 控制每個(gè)數(shù)據(jù)集在混合桶里的占比——論文里三層混合采樣落到工程上就是這幾個(gè)旋鈕。環(huán)節(jié)二跨數(shù)據(jù)集統(tǒng)計(jì)量合并。不同數(shù)據(jù)集的狀態(tài)/動(dòng)作分布不同歸一化參數(shù)必須合并計(jì)算。真實(shí)實(shí)現(xiàn)gr00t/data/dataset/sharded_mixture_dataset.pydefmerge_statistics(per_dataset_stats,dataset_sampling_weights,...):按采樣權(quán)重合并多數(shù)據(jù)集統(tǒng)計(jì)量公式 Var_combined Σ(w_i * (σ_i2 μ_i2)) - (Σ(w_i * μ_i))2 dataset_sampling_weightsnp.array(dataset_sampling_weights)normalized_weightsdataset_sampling_weights/dataset_sampling_weights.sum()# ...... 加權(quán)合并 mean/std跨數(shù)據(jù)集取全局 min/max/q01/q99 ......。一個(gè)容易被忽略的細(xì)節(jié)mean/std 按權(quán)重加權(quán)但 q01/q99 是跨數(shù)據(jù)集取 min/max 包絡(luò)——保證任何一條數(shù)據(jù)歸一化后都不會(huì)超出 [0,1] 區(qū)間。環(huán)節(jié)三歸一化分位數(shù)。數(shù)據(jù)統(tǒng)計(jì)默認(rèn)用 1%/99% 分位數(shù)而不是絕對(duì)極值gr00t/data/stats.pyq01np.quantile(np_data,0.01,axis0).tolist(),q99np.quantile(np_data,0.99,axis0).tolist(),遙操作數(shù)據(jù)里總有幾幀異常抖動(dòng)用絕對(duì) min/max 歸一化會(huì)把有效信號(hào)壓得很窄分位數(shù)歸一化是機(jī)器人數(shù)據(jù)管線(xiàn)的標(biāo)配——Q1 將來(lái)做數(shù)據(jù)管線(xiàn)這一條直接抄。數(shù)據(jù)策略的實(shí)驗(yàn)回報(bào)。論文的消融實(shí)驗(yàn)驗(yàn)證了這套體系每一環(huán)的含金量后訓(xùn)練混入神經(jīng)軌跡RoboCasa 30/100/300 演示檔分別提升 4.2%/8.8%/6.8%中等數(shù)據(jù)檔收益最大真機(jī) 10% 數(shù)據(jù)檔平均提升 5.8%。這套體系養(yǎng)出來(lái)的模型仿真三基準(zhǔn)平均成功率 45.0%、真機(jī) 13 任務(wù)平均 76.8%均為同數(shù)據(jù)量對(duì)比中的最優(yōu)而整座數(shù)據(jù)金字塔最終兌成的總賬是只用 10% 真機(jī)數(shù)據(jù)42.6%幾乎追平 Diffusion Policy 全量數(shù)據(jù)的成績(jī)46.4%。數(shù)據(jù)生產(chǎn)體系的杠桿在實(shí)驗(yàn)上是被驗(yàn)證過(guò)的杠桿。七、啟元 Q1 的數(shù)據(jù)工程開(kāi)工清單把 GR00T N1 的數(shù)據(jù)方法論壓到 Q1 的尺度我的判斷是Q1 的數(shù)據(jù)金字塔不需要 GR00T N1 的量級(jí)但需要同樣的結(jié)構(gòu)。對(duì)照開(kāi)工清單第一優(yōu)先級(jí)把規(guī)則轉(zhuǎn)成數(shù)據(jù)現(xiàn)在就能做Q1 每個(gè)技能包的 JSON 配置motions、emotion_id、led、lines本身就是結(jié)構(gòu)化的行為描述。把技能包的執(zhí)行過(guò)程錄制成圖像 語(yǔ)言指令 動(dòng)作序列三元組現(xiàn)有鼓勵(lì)/早安/倒計(jì)時(shí)三個(gè)技能立即變成種子數(shù)據(jù)。這是 Q1 手里唯一零成本的數(shù)據(jù)資產(chǎn)不錄就浪費(fèi)了。錄的時(shí)候格式別自己發(fā)明直接對(duì)齊 GR00T 的 LeRobot 格式——倉(cāng)庫(kù)自帶了一個(gè)標(biāo)準(zhǔn)樣例 demo_data/cube_to_bowl_5目錄結(jié)構(gòu)是三層cube_to_bowl_5/ ├── data/chunk-000/episode_000000.parquet# 狀態(tài)動(dòng)作每 episode 一個(gè) parquet├── videos/chunk-000/observation.images.front/# 相機(jī)視頻每路一個(gè)目錄└── meta/modality.json# 模態(tài)切片聲明關(guān)鍵其中 modality.json 聲明了狀態(tài)/動(dòng)作向量的切片方式{state:{single_arm:{start:0,end:5},gripper:{start:5,end:6}},action:{single_arm:{start:0,end:5},gripper:{start:5,end:6}},video:{front:{original_key:observation.images.front},wrist:{original_key:observation.images.wrist}},annotation:{human.task_description:{original_key:task_index}}}這套格式的價(jià)值在于切片聲明與數(shù)據(jù)分離動(dòng)作向量里哪幾維是手臂、哪幾維是夾爪由 modality.json 聲明而不是隱含在數(shù)據(jù)里訓(xùn)練側(cè)按聲明切片組合。Q1 的技能包導(dǎo)出腳本只要落成這個(gè)格式將來(lái)接 GR00T 后訓(xùn)練管線(xiàn)就是零改造。第二優(yōu)先級(jí)仿真數(shù)據(jù)1-2 個(gè)月Q1 只需仿真上肢動(dòng)作物理復(fù)雜度遠(yuǎn)低于 GR-1 全身靈巧手。用 Isaac Sim 搭 Q1 數(shù)字孿生把招手比心這類(lèi)動(dòng)作做成參數(shù)化任務(wù)幅度、次數(shù)、時(shí)長(zhǎng)可調(diào)DexMimicGen 式的演示切割 重放 成功校驗(yàn)可以直接套用。目標(biāo)量級(jí)幾十小時(shí)仿真數(shù)據(jù)就夠后訓(xùn)練用。第三優(yōu)先級(jí)遙操作設(shè)備選型同步啟動(dòng)參考 GR00T N1 的三套方案Q1 的合理選擇是 Leap Motion約幾百元捕捉上肢 手指正好覆蓋 Q1 的動(dòng)作空間不必上 VIVE 數(shù)據(jù)手套的全身方案。暫不建議碰的人類(lèi)視頻預(yù)訓(xùn)練潛動(dòng)作預(yù)訓(xùn)練的收益來(lái)自海量數(shù)據(jù)Q1 的場(chǎng)景太窄上肢交互直接在人類(lèi)視頻上做潛動(dòng)作預(yù)訓(xùn)練的性?xún)r(jià)比不高。更務(wù)實(shí)的路線(xiàn)是等 Q1 仿真數(shù)據(jù)攢起來(lái)后直接微調(diào) GR00T N1 的開(kāi)源權(quán)重——它的底層先驗(yàn) NVIDIA 已經(jīng)替你預(yù)訓(xùn)練好了。一句話(huà)總結(jié)GR00T N1 證明了數(shù)據(jù)不夠工程來(lái)湊是可行的——88 小時(shí)真機(jī)數(shù)據(jù) 視頻生成 仿真擴(kuò)展 潛動(dòng)作標(biāo)注四件套把數(shù)據(jù)問(wèn)題從有沒(méi)有變成了怎么生產(chǎn)。Q1 要抄的不是數(shù)據(jù)本身是這套生產(chǎn)體系。論文信息GR00T N1: An Open Foundation Model for Generalist Humanoid RobotsNVIDIA2025 年 3 月arXiv2503.14734開(kāi)源項(xiàng)目信息項(xiàng)目地址https://github.com/NVIDIA/Isaac-GR00T項(xiàng)目定位GR00T N1 系列基礎(chǔ)模型的官方實(shí)現(xiàn)Apache 2.0 協(xié)議數(shù)據(jù)資產(chǎn)倉(cāng)庫(kù)自帶 5 個(gè) LeRobot 格式演示數(shù)據(jù)集demo_data/ 目錄含 parquet、相機(jī)視頻與模態(tài)聲明格式規(guī)范見(jiàn) getting_started/data_preparation.md數(shù)據(jù)工具統(tǒng)計(jì)量生成gr00t/data/stats.py、多數(shù)據(jù)集混合sharded_mixture_dataset.py、機(jī)型模態(tài)配置注冊(cè)gr00t/configs/data/embodiment_configs.py格式參考本文引用的 modality.json 樣例出自 demo_data/cube_to_bowl_5可直接作為自建數(shù)據(jù)集的格式模板訪(fǎng)問(wèn)啟元機(jī)器人開(kāi)發(fā)者社區(qū)獲取 SDK、仿真工具、開(kāi)發(fā)文檔完成從代碼仿真到真機(jī)落地的全流程開(kāi)發(fā)https://dev.primebot.com/