← 返回看板
🤖 RoboGen + MetaWorld 数据生成管线
xspace设计系统 · web训练模型 · 小芳部署上线 · 2026-07-13
一、系统架构 (xspace设计)
DeepSeek V4 Pro
任务生成器
→
MetaWorld
仿真环境
→
数据收集
demonstrations
→
Z-MAX
6模型训练
→
Orin/Mac
部署验证
二、RoboGen 任务生成
| 组件 | 负责 | 说明 |
|---|
| 任务描述生成 | DeepSeek V4 Pro | 替代GPT-4，自动生成多样化操作任务指令 |
| 场景生成 | RoboGen + MetaWorld | 随机物体位置/形状/颜色 |
| 演示数据 | MetaWorld SAC/SAC | 专家策略生成最优轨迹 |
| 数据格式转换 | xspace 脚本 | → LeRobotDataset 格式 |
三、MetaWorld 任务清单
| 类别 | 任务 | 对应Z-MAX模型 |
|---|
| reach | 触碰目标点 | Sys1 ACT |
| push | 推动物体到目标 | Sys1 ACT |
| pick-place | 抓取放置 | Sys11 SmolVLA |
| door-open | 开门操作 | Sys11 SmolVLA |
| peg-insert | 精密插拔 | Sys21 VLA-T |
| assembly | 多步组装 | Sys22 GR00T |
四、训练管线 (web负责)
自动训练流程
# 1. RoboGen 生成数据 → MetaWorld 渲染 → 保存为 dataset
python robogen/generate.py --env metaworld --tasks 100 --output data/
# 2. 数据格式转换 (xspace脚本)
python convert_robogen_to_lerobot.py --input data/ --output lerobot_data/
# 3. 4090训练 (web统一管线)
python unified_train.py --model vtla --dataset lerobot_data/
python unified_train.py --model groot --dataset lerobot_data/
五、部署流程 (小芳负责)
# 1. 从ECS下载训练好的权重
wget http://datadrive.world/models/vtla_trained.pt
# 2. 部署到Orin (端侧推理)
scp vtla_trained.pt nvidia@192.168.23.10:~/models/
# 3. Mac旁路验证
python mac_sim/validate.py --model vtla_trained.pt --env metaworld
六、分工总览
| 角色 | 负责 | 产出 | 状态 |
|---|
| xspace | RoboGen集成+MetaWorld环境+数据转换 | robogen_config + convert脚本 | ⏳ 设计中 |
| web | 6模型训练管线+4090执行 | unified_train.py 全模型支持 | ✅ 就绪 |
| 小芳 | 模型部署Orin/Mac+旁路验证 | 部署脚本 + 验证报告 | ⏳ 待模型 |