model_skill(多模态训练) + action_skill(光模块动作) · 全主数据 · 2026-07-14
多模态数据 → 模型训练输入
| DDS Topic | /dds/model/rgb |
| 数据类型 | uint8 (B,3,H,W) |
| 来源 | RealSense D435 → Orin |
| 训练模型 | Sys11/Sys21/Sys22 |
| 质量Key | 帧率≥25fps, 1920×1080 |
| DDS Topic | /dds/model/depth |
| 数据类型 | float32 (B,1,H,W) |
| 来源 | RealSense D435 深度流 |
| 训练模型 | Sys21 VLA-T(3D感知) |
| 质量Key | 0.1-10m有效范围 |
| DDS Topic | /dds/model/force |
| 数据类型 | float32[6] (Fx,Fy,Fz,Tx,Ty,Tz) |
| 来源 | 六维力传感器 |
| 训练模型 | Sys21 VLA-T(力控) |
| 质量Key | ±0.1N精度, 1kHz |
| DDS Topic | /dds/model/tactile |
| 数据类型 | float32[16] (指尖触觉阵列) |
| 来源 | 指尖触觉传感器 |
| 训练模型 | Sys21 VLA-T(触觉编码器) |
| 质量Key | 16通道·16bit·1kHz |
| DDS Topic | /dds/model/joint |
| 数据类型 | float32[7] + float32[7] + float32[7] |
| 来源 | 6轴机械臂编码器 |
| 训练模型 | Sys1/Sys11 |
| 质量Key | ±0.01°, 1kHz |
| DDS Topic | /dds/model/language |
| 数据类型 | string (任务指令) |
| 来源 | DeepSeek V4 Pro / 人工 |
| 训练模型 | 全部VLA模型 |
| 质量Key | 长度≤256 tokens |
| DDS Topic | /dds/model/demo |
| 数据类型 | LeRobotDataset shard |
| 来源 | Genesis仿真 / 人工示教 |
| 训练模型 | 全部6模型 |
| 质量Key | 帧数≥100, 动作范围合法 |
| DDS Topic | /dds/model/sim |
| 数据类型 | Genesis仿真输出 |
| 来源 | Genesiw-World 物理引擎 |
| 训练模型 | 全部6模型 |
| 质量Key | 物理参数有效, 无穿透 |
光模块工厂 · 围绕插拔动作
| DDS Topic | /dds/action/pick |
| 工序 | 从料盘取光模块 |
| 型号适配 | 800G OSFP / 400G QSFP-DD / 100G SFP |
| 引擎 | Sys1 ACT (1.2ms) |
| 力控阈值 | 夹持力 3-8N |
| DDS Topic | /dds/action/scan |
| 工序 | 扫码读取SN |
| 型号适配 | 所有型号 |
| 引擎 | Orin本地视觉 |
| 校验 | SN匹配MES系统 |
| DDS Topic | /dds/action/pre_insert |
| 工序 | 定位到插口上方 |
| 型号适配 | 800G(大)/400G(中)/100G(小) 不同预插位 |
| 引擎 | Sys11 SmolVLA (视觉引导) |
| 精度 | XY ±0.5mm |
| DDS Topic | /dds/action/lissajous |
| 工序 | 利萨如力控搜索插入 (核心) |
| 型号适配 | QSFP-DD/OSFP不同金手指宽度 |
| 引擎 | Sys21 VLA-T (力控284ms) |
| 力控参数 | Z 6N, 振幅6mm/3Hz+4mm/2Hz, 搜索±10mm |
| DDS Topic | /dds/action/second_insert |
| 工序 | 二次插入确认 (end_pose[0]>0.75) |
| 引擎 | Sys21 VLA-T |
| 回退 | 失败→开爪重试→连续2次→报错 |
| DDS Topic | /dds/action/extract |
| 工序 | Z+12cm 直线拔出 |
| 型号适配 | 所有型号统一流程 |
| 引擎 | 固定轨迹 → joint24 → joint14 |
| DDS Topic | /dds/action/place_ok |
| 工序 | 放回合格品托盘 |
| 目标位姿 | manual_pose_25 |
| DDS Topic | /dds/action/place_ng |
| 工序 | 放到不合格品区 |
| 目标位姿 | manual_pose_26 |
| DDS Topic | /dds/action/aoi |
| 工序 | 6工位AOI检测 |
| 引擎 | 4060:10082 capture_detect |
| 判断 | any NG → 标记aoi_fail_flag |
| DDS Topic | /dds/action/test |
| 工序 | 等待测试结果 (PASS/FAIL) |
| 超时 | 30s |
| DDS Topic | /dds/action/change |
| 工序 | 换型适配 (切换光模块型号) |
| 参数 | 新型号→更新预插位/力控参数/夹持力 |
| DDS Topic | /dds/action/init |
| 工序 | 初始化循环 (计数器清零) |
| 计数器 | pick_place/place/ng/grasp_fail/aoi_detect |
| 类别 | 编号 | 主数据名称 | DDS Topic | 对应模型 | 质量检查 |
|---|---|---|---|---|---|
| model | M01 | RGB图像 | /dds/model/rgb | Sys11/Sys21/Sys22 | 帧率/分辨率 |
| model | M02 | 深度图 | /dds/model/depth | Sys21 | 有效范围 |
| model | M03 | 六维力 | /dds/model/force | Sys21 | 精度/频率 |
| model | M04 | 触觉阵列 | /dds/model/tactile | Sys21 | 16通道有效 |
| model | M05 | 关节状态 | /dds/model/joint | Sys1/Sys11 | 角度范围 |
| model | M06 | 任务语言 | /dds/model/language | 全部VLA | token长度 |
| model | M07 | 专家演示 | /dds/model/demo | 全部6模型 | 帧数/合法性 |
| model | M08 | 仿真数据 | /dds/model/sim | 全部6模型 | 物理有效性 |
| action | A01 | 取料 | /dds/action/pick | Sys1 ACT | 夹持力 |
| action | A02 | 扫码 | /dds/action/scan | Orin视觉 | SN匹配 |
| action | A03 | 预插 | /dds/action/pre_insert | Sys11 SmolVLA | 定位精度 |
| action | A04 | 力控插入 ⭐ | /dds/action/lissajous | Sys21 VLA-T | 力控6N±0.5N |
| action | A05 | 二次插入 | /dds/action/second_insert | Sys21 VLA-T | end_pose>0.75 |
| action | A06 | 拔出 | /dds/action/extract | 固定轨迹 | Z位移12cm |
| action | A07 | 放OK品 | /dds/action/place_ok | 机械臂 | pose_25 |
| action | A08 | 放NG品 | /dds/action/place_ng | 机械臂 | pose_26 |
| action | A09 | AOI检测 | /dds/action/aoi | 4060:10082 | code=200 |
| action | A10 | 等待测试 | /dds/action/test | WaitContext | 超时30s |
| action | A11 | 换型适配 | /dds/action/change | 全引擎 | 参数合法 |
| action | A12 | 初始化 | /dds/action/init | 状态机 | 计数器清零 |
| 合计 | 8 model + 12 action | 20 Topics | 全部模型覆盖 | 五层质控 | |
from dds_skill import gds
# model_skill (多模态训练数据)
gds.publish("sensor_force_6d", [1.2, 0.3, 5.0, 0, 0, 0]) # M03
gds.get("joint_pos_7d") # M05
# action_skill (光模块动作)
gds.publish("pick_module", {"model":"QSFP-DD", "force":5.0}) # A01
gds.publish("lissajous_insert", {"z_force":6.0, "amplitude":6.0}) # A04 ⭐
gds.get("aoi_result") # A09
# 全部主数据 → Web看板
gds.to_json("all") # 20 Topics → data-quality.html 实时监控