SmolVLA × 认知神经科学 结构映射 | Z-MAX 技术文档
视觉信号从视网膜到语义理解，对应12层Vision + 16层Language
| 层级 | 🧠 脑区 | 神经原理 | SmolVLA 实现 | 参数 |
|---|---|---|---|---|
| Embed | 视网膜 LGN | 光子→电信号 中心-周边拮抗 | PatchEmbed Conv2d(3→768) PositionEmbedding | 0.6M 0.8M |
| L0-2 | V1 (17区) | 朝向选择柱 Gabor滤波器 | SelfAttn(768) + MLP(768→3072) | 21M |
| L3-5 | V2 | 轮廓整合 纹理分割 | SelfAttn(768) + MLP(768→3072) | 21M |
| L6-8 | V4 | 颜色恒常性 形状识别 | SelfAttn(768) + MLP(768→3072) | 21M |
| L9-11 | IT (颞下皮层) | 祖母细胞 语义分类 | SelfAttn(768) + MLP(768→3072) | 21M |
| 层级 | 🧠 脑区 | 神经原理 | SmolVLA 实现 | 参数 |
|---|---|---|---|---|
| Embed | 梭状回 | 字形→语义映射 | Embedding(49152→960) | 47M |
| L0-7 | Wernicke区 | 语音理解 语义整合 | LlamaDecoder ×8 SelfAttn(960)+MLP(2560) | 78M |
| L8-15 | Broca区 | 语法加工 意图生成 | LlamaDecoder ×8 SelfAttn(960)+MLP(2560) | 78M |
16层交错注意力，每2层切换：奇数层读VLM(Cross-Attn)，偶数层自整理(Self-Attn)
| 层号 | 🧠 脑区 | 注意力 | 神经原理 | SmolVLA 实现 | 参数 |
|---|---|---|---|---|---|
| L0 | PPC 后顶叶 | Cross | 视觉-空间坐标转换 | CrossAttn 读VLM-L0 | 6.3M |
| L1 | PMC 前运动 | Self | 动作序列预演 | SelfAttn(960)+MLP | 6.0M |
| L2 | PPC | Cross | 多感觉整合 | CrossAttn 读VLM-L2 | 6.3M |
| L3 | PMC | Self | 运动块分割 | SelfAttn(960)+MLP | 6.0M |
| ... 交替16层 ... | |||||
| L14 | M1 初级运动 | Cross | 精细运动编码 | CrossAttn 读VLM-L14 | 6.3M |
| L15 | 脊髓前角 | Self | 最终运动输出 | SelfAttn(960)+MLP | 6.0M |
| 组件 | 🧠 脑区 | 神经原理 | SmolVLA 实现 | 参数 |
|---|---|---|---|---|
| state_proj | 丘脑 VA/VL核 | 感觉→运动中继 | Linear(32→960) | 0.03M |
| time_mlp_in | 基底节 直接通路 | 噪声→动作候选 | Linear(1440→720)+SiLU | 1.0M |
| time_mlp_out | 基底节 间接通路 | 精炼，抑制多余 | Linear(720→720) | 0.5M |
| ODE 10步积分 | 小脑皮层 | 轨迹平滑 | Euler积分 ×10步 | — |
| min_period=4ms | 橄榄核 | 40Hz时序基准 | 正弦位置编码下界 | — |
| max_period=4s | 纹状体 | 长时序窗口 | 正弦位置编码上界 | — |
Vision 86M + Connector 12M + Text 204M + lm_head 47M
16层 LlamaDecoder × 960维 × 0.75宽度
state_proj + action_proj + time_mlp
可训练 100M (Expert+Head) | 冻结 350M (VLM)
| 维度 | 🧠 人脑 | 🤖 SmolVLA | 差距 |
|---|---|---|---|
| 并行度 | 10¹¹ 突触 | 层内并行 | 10⁶ × |
| 反馈连接 | V1↔IT↔PPC 处处反馈 | 纯前馈 ❌ | 关键缺失 |
| 学习方式 | Hebb + 多巴胺 | 梯度下降 | 无在线学习 |
| 多模态 | 视+触+本体+前庭 | 视+语 | 缺触觉 |
| 预测 | 持续预测编码 | 一次去噪 | 无持续预测 |
| 能耗 | ~20W | 150W GPU | 7× |
| 参数 | ~100T 突触 | 450M | 20万× |