📊 数据质量管理

web · 数据项目经理 · 8 Skill 全链路数据质量监控

一、数据质量指标

二、数据质量管理流程

┌──────────┐    ┌──────────┐    ┌──────────┐    ┌──────────┐    ┌──────────┐
│  L0 采集 │───→│  L1 校验 │───→│  L2 清洗 │───→│  L3 增强 │───→│  L4 入仓 │
│ 完整性   │    │ 格式检查 │    │ 异常过滤 │    │ 归一化   │    │ 版本管理 │
│ 频率检查 │    │ 范围检查 │    │ 去重     │    │ 对齐     │    │ 元数据   │
└──────────┘    └──────────┘    └──────────┘    └──────────┘    └──────────┘

三、多模态数据训练接入

# 每个Skill数据自动映射到对应模型输入
DATA_MODEL_MAP = {
    "skill_0": {"model": None, "role": "input", "key": "image"},
    "skill_1": {"model": None, "role": "input", "key": "joint_state"},
    "skill_2": {"model": "sys1_act", "role": "output", "key": "action_chunk"},
    "skill_3": {"model": "sys11_smolvla", "role": "output", "key": "vla_output"},
    "skill_4": {"model": "sys21_vtla", "role": "output", "key": "tactile_force"},
    "skill_5": {"model": "sys22_groot", "role": "output", "key": "groot_action"},
    "skill_6": {"model": None, "role": "quality", "key": "aoi_result"},
    "skill_7": {"model": "all", "role": "weights", "key": "model_weights"},
}

# 质量检查器
class DataQualityChecker:
    def check_completeness(data): ...
    def check_timeliness(data, expected_hz): ...
    def check_accuracy(data, expected_shape): ...
    def generate_report(): ...

四、实时数据感知 (Web监控)