从隐式经验到显式物理：端到端机器人操作模型如何理解“世界隐含知识”——以 π0.6 为例

一、总领

Related ArcheBase guides: Ego Data for Physical AI, Task Interface, and Data Compilation.

近一两年，端到端机器人操作模型正在快速演进，其技术主线也逐渐从单纯依赖视觉—语言—动作（VLA）预训练的通用策略，转向结合世界模型、触觉/力觉感知与交互强化学习的多模态体系。与其说当前研究的核心问题是让机器人“看见并执行”任务，不如说是如何让模型获得视觉难以直接观测的“世界隐含知识”，例如接触状态、受力变化、摩擦与滑移、柔顺性以及物体的物理演化规律。

如果把最近一两年的机器人端到端操作模型看成一个谱系，主流大致在往三个方向收敛：

大规模 VLA（Vision-Language-Action）预训练
- 代表：RT-2、OpenVLA、π0/π0.5/π0.6
- 核心：从“图像+语言→动作”直接学习，靠大数据和视觉语义先验获得泛化能力。
- 优点：任务泛化、指令理解、跨场景迁移强。
- 短板：对接触、摩擦、柔顺、受力、滑移这类“看不见但决定成败”的量天然不敏感。
加入世界模型 / 预测模型
- 代表：Visuo-Tactile World Models (VT-WM)、OmniVTA
- 核心：不仅输出动作，还显式预测未来观测、接触演化、触觉变化。
- 优点：更像“内部物理仿真器”，对隐含物理规律更友好。
- 短板：训练复杂、对多模态同步数据依赖大。
把触觉/力觉作为一等公民
- 代表：TaF-VLA、VLA-Touch、Reactive Diffusion Policy、OmniVTA
- 核心：承认“只靠视觉不够”，直接把触觉图像、F/T、扭矩、接触状态并入策略。
- 优点：在插入、擦拭、装配、柔性物体操作等接触丰富任务上显著更稳。
- 短板：硬件门槛、数据采集成本、传感器泛化问题。

一句话总结： 现在端到端模型解决“世界隐含知识”的方法，已经从“希望模型自己从视觉里悟出来”转向“三管齐下”：

靠大规模预训练获得弱物理常识
靠交互数据和 RL 获得 task-specific 物理技能
靠触觉/力觉/世界模型把隐含物理变量显式化或半显式化

而π0.6 本身主要属于第一类+第二类之间：它比早期 VLA 更强，但并没有真正从单纯视觉中可靠地恢复力触信息；它更像是通过大规模操作数据、分层动作建模、提示条件、以及后续 RL（π*0.6/Recap），学会了“在统计上表现得像懂物理”。这和“显式知道法向力、切向力、摩擦锥、接触模式”还不是一回事。所以如果你问：π0.6 怎么解决世界隐含知识问题？ 答案是：部分解决，主要靠数据和经验；对真正的力触隐变量仍然没有彻底解决。

二、什么叫“世界隐含知识”？

在机器人操作里，“世界隐含知识”通常包括几层：

视觉不可直接观测的接触变量

比如：

什么时候真正接触到了物体
接触点在哪里
法向力/切向力多大
是否发生滑移
夹持是不是稳定
物体是否卡住、变形、回弹

这些量很多时候不能从 RGB 单帧直接读出来。

物理规律

比如：

摩擦与滑移关系
受力后物体运动趋势
柔性物体（衣服、袋子、纸盒）的形变动力学
杯子倾倒、液体流动、盒子折叠回弹
工具-物体-环境三者的耦合关系

任务中的“操作常识”

比如：

插端口时不能只看位置，要边试边微调
折衣服要顺着布料张力和折线走
装盒时要一边扶、一边压、一边卡扣
做咖啡时粉碗角度不对，后面插入就会失败

这类知识介于“语义知识”和“物理技能”之间。

三、最新端到端操作模型的主流路线

纯/主视觉 VLA 路线：RT-2、OpenVLA、π0 系列

共同特点

输入：图像 + 语言 + 机器人状态
输出：连续动作或离散动作 token
训练：大规模示教/机器人数据 + VLM 预训练迁移
目标：通用操作策略

代表差异

RT-2：强调把 web-scale 视觉语言知识迁移到机器人控制中。
OpenVLA：开源代表作，强调从视觉语言到动作的统一。
π0：Physical Intelligence 的代表，采用预训练 VLM + action expert + flow matching，主打跨 embodiment 和复杂灵巧操作。官方介绍强调它继承互联网尺度语义理解，并通过机器人数据学习低层控制。[1]

它们怎么处理“隐含知识”？

核心方式不是显式建模力学，而是：

从海量交互数据中学到统计相关性
利用时序观察推断接触是否成功
借助多视角相机和腕部相机提高接触可见性
在动作输出层通过 chunked action / diffusion / flow matching 生成平滑控制

也就是说，它们更像是学：

“看到这种视觉变化 + 语言目标 + 当前状态时，过去成功专家通常会这样动。”

而不是学：

“当前接触法向力已超过阈值，摩擦锥允许切向推进，因此应沿切向微移 2 mm。”

世界模型路线：VT-WM、OmniVTA

VT-WM（Visuo-Tactile World Models）

OpenReview 的摘要很直接：仅视觉的世界模型在接触丰富任务里容易出现物体消失、瞬移、违反运动规律等问题；加入触觉后，世界模型对物体恒存和运动规律的遵守更好，零样本规划成功率可提升最高 35%。[4]

这说明了一个关键事实：

如果模型没有接触信号，它的“内部世界模拟”很容易是假的。

OmniVTA / OmniViTac

这是 2026 年很新的方向。它不只是把触觉当附加观测，而是明确提出：

触觉不能只是 policy 的辅助输入
应该用来建模短时域接触演化
同时配高频 reflex controller 做闭环修正

其论文摘要强调：

仅靠视觉难以可靠推断接触力、摩擦变化、接触状态转换
提出了大规模 visuo-tactile-action 数据集 OmniViTac（2万+轨迹、86任务、100+物体）
采用世界模型预测接触动态，再通过 60Hz 触觉反射控制器闭环纠偏[5]

这已经很接近“显式补世界隐变量”了。

力触对齐路线：TaF-VLA

TaF-VLA 的核心观点很值得注意：

当前 VLA 的问题不是没有“触觉图像”，而是把触觉当成另一种视觉纹理，没有把它和“力”对齐。[6]

它提出从tactile-vision alignment转向tactile-force alignment：

建大规模同步数据集：触觉图像 + 6轴 F/T + 力分布图
训练一个 TaF-Adapter，把时序触觉表示对齐到力相关 latent
再把这个 adapter 接到 VLA backbone 上

论文摘要里直接说，当前 VLA 对 contact-rich task 存在 force-blindness（力盲），而 TaF-VLA 通过显式力对齐来补这一块。[6]

这是对你问题最直接的回答之一： 要解决世界隐含知识，尤其是视觉难以恢复的力触信息，最新趋势不是“逼纯视觉悟出来”，而是“提供物理锚点进行对齐”。

哪些视觉状态意味着抓稳了
哪些动作序列更容易成功
柔性物体大概怎么摆动
失败前通常有哪些前兆

本质

这是一种行为统计学上的物理知识，不是显式物理模型。

优点

不需要额外传感器
与大模型路线兼容
泛化到相似任务有效

局限

学到的是相关性，不一定是可迁移因果规律
遇到训练分布外材料、摩擦、重量时容易崩
接触一旦被遮挡，信息大幅丢失

机制 B：通过时序建模把“接触”当成可推断隐状态

即使没有触觉，模型也可以从视频序列推一些隐变量：

物体是否开始跟手走了 → 可能抓住了
纸盒 flap 是否弹回 → 可能压得不够
衣服边缘是否张紧 → 可能拉力方向对了
端口附近微小抖动 → 可能碰撞了

方法

Transformer 时序上下文
action chunk 预测
diffusion / flow matching 的轨迹级建模

杯子通常能装液体
纸盒有 flap、边角、开口结构
衣服是柔性的、可折叠
咖啡机某些部件需要旋转/插入

π0 官方博客明确强调：

它从预训练 VLM 继承了互联网尺度语义理解，再适配为机器人实时控制。[1]

这解决了什么？

解决的是“物体是什么、目标是什么、通常怎么交互”。

没解决什么？

没解决“现在这一瞬间力多大、摩擦够不够、有没有卡住”。

所以：

语义知识 ≠ 物理接触知识
但语义知识能给物理交互提供高层先验

机制 D：通过 RL / 在线经验把“失败中的物理”学回来

这是 π*0.6 / Recap 的关键进步。

Physical Intelligence 在 2025 年发布的 π*0.6 说明里指出：

纯 imitation 容易因小误差导致 compounding errors
需要从机器人自己的经验中学习
Recap 通过示教 + 人类纠错 + reinforcement learning 让模型从真实部署中的错误里改进
其中核心是训练一个 value function，对状态好坏做 credit assignment，再做 advantage-conditioned policy extraction[2]

为什么这和“世界隐含知识”有关？

因为很多隐含物理知识本来就无法通过静态标注给出，只能靠交互后果学习，比如：

这个抓取角度看起来差不多，但后续更容易插入失败
这一下按得不够，后面盒子会弹开
这个拿 portafilter 的姿势会导致后面难插入咖啡机

这些都是典型的长时程物理信用分配问题。

RL 补了什么？

它不直接告诉模型“力是 3.2N”，但会告诉模型：

“把 portafilter 抓成这个角度，未来价值更高；抓偏一点，未来更差。”

因此，RL 让模型得到一种任务结果驱动的隐式物理知识。

举例：

滑移对 RGB 可能难看出来，对触觉很明显
接触点位置对外部相机难估，对 GelSight 类传感器很直接
法向压力分布对视觉不可见，对 tactile map 可直接建模

两种主流思路

1）触觉作为直接观测

policy 输入 tactile
适合闭环纠偏
典型：Reactive Diffusion Policy、VLA-Touch、TacVLA 一类工作

2）触觉作为物理监督

不一定部署时保留 F/T
训练时用力/触觉对 latent 做对齐
典型：TaF-VLA

这第二种思路尤其重要，因为它回答了你的“从视觉输入提取力触信息”问题：

最有效的方法往往不是只从外部视觉硬猜，而是用触觉/力信号做教师，把 latent 训练成“力敏感”的。

接触是否发生
物体是否被抓稳
是否卡住
是否发生明显滑移

依赖线索

物体运动响应
变形
手爪与物体相对位置变化
失败前兆模式

问题

遮挡严重
微小受力难见
法向/切向力不可辨识
材料属性泛化差

方式 2：从视觉型触觉传感器图像恢复力

这其实不是“外部视觉”，而是接触面内部成像。比如 GelSight 一类传感器，把表面形变拍成图像，再估力/力分布。

2025 年 Science Robotics 的一项工作就展示了vision-based contact force estimation这类思路，说明视觉式触觉传感器可以作为更易实现的接触力估计替代方案。[7]

这类方法本质上是：

用“视觉”表征“触觉”
把接触形变场转成力估计

优点

高分辨率
局部接触细节强
可直接服务 manipulation

局限

需要专门硬件
仍然要做传感器标定/跨传感器泛化

方式 3：用触觉或力作为训练监督，蒸馏进视觉/策略 latent

这是 TaF-VLA 一类的思路。

训练时

输入 tactile image / F/T / pressure map
学 force-aware latent

部署时

可以保留 tactile
也可以部分蒸馏给 policy

这种方式比单纯做显式力回归更强，因为它学的是与控制相关的物理潜变量，而不是单点数值。

方式 4：多模态世界模型预测未来接触

VT-WM、OmniVTA 代表的是：

不只是“现在力多大”
而是预测采取某动作后接触如何演化

这比单帧估力更接近机器人真正需要的能力。

什么动作一般有效
什么序列一般稳定

高层子任务预测
低层动作生成

架构上：

backbone 初始化自 Gemma 3 4B
有一个约 860M 参数的 action expert
输入最多 4 路图像（base camera、最多两个 wrist cameras、可选 backward camera）
拼接语言 prompt 和 proprioception
同时生成 离散动作 token 和 连续动作（flow matching）[3]

这说明 π0.6 仍然是一个典型的大规模 VLA + 动作专家架构，而不是显式物理状态估计器。

π0.6 如何获得“世界知识”？

我把它分成三层。

第一层：互联网尺度语义知识

π0/π0.6 继承了预训练 VLM 的语义理解能力。π0 官方博客明确强调，它通过预训练 VLM 继承 semantic knowledge 和 visual understanding。[1]

这部分给它的是：

物体类别
场景理解
指令遵循
常见用途和操作语义

这对“开盒子”“收桌子”“折衣服”很重要，但属于语义世界知识。

第二层：跨 embodiment 操作经验

π0 官方强调其训练混合包含：

Open X-Embodiment
互联网多模态预训练
自家多机器人 dexterous datasets[1]

π0.6 模型卡也说，它继承 π0.5 的数据组成，包括：

cross-embodiment in-house data
diverse home environment mobile/non-mobile data
high-level subtask prediction
multimodal web datasets[3]

这部分给它的是：

大量“动作—结果”统计
多机器人控制共性
柔性物体、盒子、餐具等操作经验

这已经包含某种“弱物理常识”。

第三层：提示与分层结构

π0.6 可以接收 richer metadata conditioning，模型卡特别提到 prompt design 和 metadata conditioning 的增强。[3]

这说明它不是只靠一个短语言命令，而是允许更丰富条件调制策略执行方式。

这对世界知识的作用是：

把“任务意图”更清晰地注入动作生成
减少策略在模糊目标上的歧义

抓取前对齐
盒子 flap 是否折到位
衣物边缘位置
工具姿态与插入方向

(2) 通过时序动作生成维持隐状态

continuous action + action chunk generation 可以让策略在短时域内更一致，某种程度上维持“接触正在发生/即将失败”的隐状态。

(3) 通过大规模数据学会 task-specific physical heuristics

比如：

装盒时双臂如何互相配合、借助桌面支撑
折衣服时如何利用布料展开和回正
收桌时如何堆叠餐具

π0 官方博客就提到，它在 table bussing 中出现了“堆叠多个盘子一起收”“把盘中垃圾抖入垃圾桶再放盘子”等 emergent strategies。[1]

这些可以看作“操作世界知识”的表现。

它没真正解决的部分

(1) 没有显式触觉/力觉输入

从模型卡看，π0.6 的标准输入是图像、语言、proprioception，没有触觉/F/T 通道。[3]

所以它并不知道：

夹爪接触压力是否过大
是否发生微滑移
插入阻力是法向碰撞还是摩擦卡滞
柔性物体张力分布

(2) 没有显式物理状态变量

没有看到它显式预测：

接触状态
力分布
物体可供性中的物理参数
世界动力学 latent

所以其“物理”主要是行为统计与隐式表征。

(3) 对 OOD 材料/摩擦/顺应性可能脆弱

因为这些变量往往视觉不显著，但对结果影响极大。

π*0.6 / Recap 怎么进一步补这个问题？

这是最关键的一点。

π*0.6 不是给 π0.6 加了触觉，而是给它加了经验学习能力。 Recap 的关键是：

demonstrations：学“基本招式”
corrections：学“犯错后怎么救”
reinforcement learning：学“哪些细节真的更好”[2]

并且通过 value function 做 credit assignment，再把 advantage 作为条件喂给 policy。[2]

这对隐含物理知识的意义

它让模型能从以下东西里学习：

某个看似差不多的抓取角度，后续更容易成功
某种推进力度更容易完成插入
某种折盒子节奏更稳定
某种等待或清洁时长更合适

这些本质上是后验物理知识：不是通过显式传感器“测出来”，而是通过长期回报差异“学出来”。

所以可以这样评价：

π0.6：偏“从数据学物理相关统计”
π*0.6：偏“从真实交互后果中学物理有效性”

但它们都还不是：

从视觉中显式恢复力触状态
或构建可解释的物理世界模型

七、把 π0.6 和最新“物理补全”路线对比一下

下面这个对比最能说明问题。

所以，如果你问：

现在这些模型怎么解决世界隐含知识问题？

最准确的答案是：

法向力
接触面压力分布
摩擦系数
内部应力
微滑移

这是个信息论问题，不只是模型不够大。

多解性

同样视觉现象可能对应不同力学状态：

物体没动：可能没接触，也可能接触但静摩擦锁住
形变很小：可能力小，也可能材料刚度大
抓取稳定：可能夹力合适，也可能几何卡住了

遮挡

操作时最关键的地方恰恰是手-物接触区，而那里经常被遮挡。

高灵敏低可见

很多决定成败的信息是毫米级、牛顿级、甚至更细的变化，对 RGB 太弱。

所以真正有效的路线往往是：

视觉负责全局语义和几何
触觉/力觉负责局部接触
世界模型负责时序因果和物理演化
RL 负责把这些转化成任务最优策略

把 VLM 语义能力与机器人控制更深结合
跨机器人、跨任务预训练更成熟
分层设计 + action expert + continuous actions 更适合灵巧操作
out-of-the-box 能做更复杂任务，如 laundry、box assembly 等[3][1]

它的本质能力

擅长：看懂场景、理解任务、调用学过的操作套路
中等：根据时序视觉推断接触进展
较弱：显式感知和推理力触/摩擦/接触状态

为什么 π*0.6 会大幅提升？

因为真实世界操作里，很多成败差异根本不是靠语义能补的，而是靠：

反复试
在失败中纠偏
学会更精细的物理动作细节

Recap 正是在这点上让 π0.6 从“会做”变成“更稳定、更快、更实用”。[2]

插入
装配
擦拭
柔性物体
工具使用
脆弱物体处理

世界模型会从“视频想象”走向“接触想象”

不只是预测下一帧图像，而是预测：

会不会接触
力会怎么变化
滑移会不会发生
接触模式如何转移

RL/在线学习会成为部署后能力提升的核心

因为很多物理知识只有在特定机器人、特定材料、特定环境下，在线实践才能学到。

“隐式物理”会逐渐变成“半显式物理”

也就是 latent 里开始有：

force-aligned representation
contact tokens
tactile prediction heads
value over contact states

这会比现在纯黑箱 VLA 更可控、更稳。

十一、给你的一个简明判断

如果你要一句研究判断：

π0.6 代表的是“通过大规模视觉-语言-动作预训练和真实交互经验，隐式获得物理操作能力”的路线；而最新前沿工作正在往“显式用触觉/力觉/世界模型补足视觉无法观测的隐含物理状态”演进。

更具体一点：

π0.6 能做复杂操作，不等于它真正理解了力学。
它更多是在丰富数据与时序交互中学会了有效动作分布。
当任务进入真正 contact-rich 场景时，只靠视觉学出来的隐式物理知识会碰到天花板。
因此，像 TaF-VLA、VT-WM、OmniVTA 这样的路线，才是在正面解决你说的“世界隐含知识”问题。

十二、如果你要做研究，我建议的切入点

如果你想进一步研究这个问题，我建议三个方向：

方向 A：以 π0.6 为 backbone，加物理辅助头

例如增加：

contact state prediction
slip prediction
force proxy prediction
value over contact progress

这样可以测： 不加新硬件时，纯视觉 latent 里到底能恢复多少物理信息。

方向 B：做“触觉教师、视觉学生”

训练时有 tactile/F/T，部署时尽量只保留视觉或轻量触觉。

这很适合做：

distillation
privileged information
latent alignment

方向 C：把 Recap 和 world model 结合

让 value function 不只评估成功率，还评估：

接触稳定性
力变化可控性
slip risk
deformable progress

这会比纯 outcome-based RL 更“物理感知”。

Physical Intelligence, “π0: Our First Generalist Policy,” 2024, https://www.pi.website/blog/pi0
Physical Intelligence, “A VLA that Learns from Experience,” 2025, https://www.pi.website/blog/pistar06
Physical Intelligence, “π0.6 Model Card,” 2025, https://website.pi-asset.com/pi06star/PI06_model_card.pdf
OpenReview, “Visuo-Tactile World Models,” abstract page, https://openreview.net/forum?id=zKQSyT7a7n
“Visuo-Tactile World Modeling for Contact-Rich Robotic Manipulation / OmniVTA,” arXiv HTML abstract, https://arxiv.org/html/2603.19201v1
“Tactile-Force Alignment in Vision-Language-Action Models for Force-aware Manipulation (TaF-VLA),” arXiv HTML abstract, https://arxiv.org/html/2601.20321v1
“Vision-based contact force estimation with a compliant hand,” 2025, https://www.science.org/doi/10.1126/scirobotics.adq5046

Coauthored By GPT 5.4 & GPT 5.4 Pro