RoboParty Lab 成员的最新研究 P-BFM（Perceptive Behavioral Foundation Models）正式发布，探索如何让同一个人形机器人行为基础模型，在复杂地形上灵活执行不同任务。
P-BFM 将“想做什么”与“在当前地形上如何执行”分开建模：通过前向–后向（FB）表示，将动作参考、目标身体状态与奖励函数接入共享意图空间，再由感知策略结合环境几何生成运动。模型采用单阶段联合训练，仅以 40 条平地 LaFAN 动作序列作为运动先验，无需修改参考动作或准备地形专属示范，即可通过与多样化仿真地形的在线交互，学习调整步高、姿态、落脚位置与接触方式。
P-BFM 的价值不只在于让机器人适应地形，更在于将多种行为接口与地形感知执行连接起来。借助显式根部指令（ERI），策略能够在跟踪动作的同时控制目标航向与平面速度；预训练完成后，同一冻结策略无需任务特定的再训练，即可支持遥操作、动作跟踪、目标状态到达与基于奖励函数的行为推断，并具备地形感知的扰动恢复能力。策略已零样本迁移至搭载机载深度相机的 Unitree G1。
01 从动作复用到地形适应
平地动作与复杂地形之间存在直接的运动学和接触约束冲突。台阶要求改变抬脚高度，障碍物限制摆腿路径，坡面改变身体姿态与支撑条件；坐卧和起身还涉及手、腿及躯干与环境之间的接触切换。因此，扩展动作库本身并不足以解决地形适应问题，控制器还需要根据环境重新协调全身运动。
一类方法先通过离线优化生成地形适配参考，再训练感知跟踪策略。随着行为类别、地形参数和初始状态增加，需要覆盖的行为–地形组合迅速扩展，复杂接触也使参考优化更加困难。P-BFM 将适配过程纳入在线策略学习，以平地示范提供运动先验，通过环境交互学习不同地形下的执行方式。
固定行走意图实验展示了固定行走意图对应的不同运动实现：机器人在台阶上调整步高与落脚，在坡面上改变姿态，在离散障碍间选择可行的支撑位置。意图保持不变，关节轨迹与接触方式随地形变化。
在实机遥操作实验中，操作者在平地上运动，机器人则在台阶上执行相应行为。实时重定向提供身体运动目标，机器人依据自身深度观测调整动作；地面接触与起身片段进一步展示了多部位支撑和接触切换。
02 FB 表示如何统一不同任务
从后继状态访问到奖励推断
FB 学习策略执行动作后对未来身体状态的长期访问关系，并用前向表示 F 与后向表示 B 的内积近似折扣后继状态访问分布。B 表示目标身体状态，F 则结合当前状态、动作和行为意图，描述策略未来访问这些状态的情况。
这一分解使下游奖励函数可以直接转化为策略的行为意图。设 x 为身体特征，r(x) 为奖励函数，对经验中采样的身体状态进行编码并按奖励加权，可得到意图方向：
zᵣ ∝ Σᵢ r(xᵢ) B(xᵢ)。
对应的动作价值可近似写为：
Qᵣ(s, a) ≈ F(s, a, zᵣ)ᵀ zᵣ。
奖励定义了希望实现的身体状态，FB 表示将这些偏好与策略的长期行为联系起来。预训练后，新的奖励函数通过重新计算意图向量接入同一策略，无需针对每个奖励任务重新优化模型参数。推理时，意图向量归一化到训练使用的尺度。
F 参与训练中的价值估计；实机执行由感知策略直接产生 29 个关节目标，再交由底层 PD 控制器执行。
意图编码与感知执行分别建模
P-BFM 的后向表示 B 只接收身体特征，不接收深度、地形几何或根部指令。给定同一个目标身体状态，意图编码保持一致。策略则同时接收意图、本体状态与深度观测，根据实际环境生成动作。
训练中的 F 和辅助价值网络也利用地形信息，评价动作在当前环境下的长期效果。B 负责表达行为目标，感知策略负责适应执行环境。 这一输入分工使任务表示可以跨地形复用，同时为步高、落脚和全身接触的调整保留空间。
03 平地运动先验与地形交互如何共同训练
单阶段联合训练
在同一预训练阶段，P-BFM 联合学习行为表示、感知策略与速度估计器。40 条平地 LaFAN 序列提供构造行为提示的身体状态，同时作为条件判别器 D(x,z) 的正样本。判别器结合当前意图评价身体运动，使其奖励与希望执行的行为相关联。
运动先验通过价值目标影响策略，而不要求执行轨迹与示范逐帧完全一致。策略在七类仿真地形中在线采样，依据碰撞、支撑变化、滑脚与前进受阻等物理反馈更新控制行为。由此，示范约束行为特征，地形交互决定这些行为如何在环境中实现。
联合训练目标包含 FB 价值、条件运动先验、物理辅助项以及航向和速度监督。它们分别支持任务表示学习、运动质量、物理约束与根部控制；速度估计器同时使用仿真真实速度作为监督。论文报告的训练规模为 8 张 H200、约 10 小时、1.92 亿环境步，训练经验由平地示范和在线仿真交互共同构成。
深度感知与根部速度估计
策略使用共享 CNN 与 GRU 编码 8 帧深度历史，并将视觉特征与本体感知共同用于控制。每帧输入为 18×32 像素，采样间隔约 0.1 秒，覆盖约 0.7 秒的观测历史。这使模型能够同时利用周围几何及其随机器人运动产生的变化。
深度特征还用于估计根部三维线速度。估计器融合深度、本体感知和动作历史，在仿真中接受真实速度监督，部署时依靠机载观测运行。它不接收行为意图或目标指令，因此当前运动状态的估计与期望运动的指定分别完成。
实机使用 RealSense D435i 深度相机。相机观测按照训练使用的射线布局进行对齐，并经过裁剪、平滑和归一化处理；最大深度与无效深度替代值均为 2.5 米。完成观测对齐后，模型以冻结参数部署到 Unitree G1。
04 ERI：在保留行为的同时控制根部运动
为什么还需要显式根部指令
相近的关节运动不一定对应相同的全局移动。机器人可能保持交替迈步，却逐渐偏离目标方向，或在障碍前原地踏步。行为潜变量虽然包含身体运动信息，仍可能无法精确约束航向与前进速度。
ERI 将目标航向和平面速度直接提供给策略，并为两类指令设置独立的价值监督。动作跟踪时，行为意图和根部指令取自同一参考，分别控制全身行为与全局移动，在适应地形的过程中同时维持目标方向与前进速度。
指令表达与局部适应
目标水平速度从世界坐标系转换到机器人当前朝向坐标系，目标航向以相对角度的周期表示输入。策略由此获得与当前朝向相关的方向和速度要求。
有效性掩码区分“目标速度为零”和“未指定速度”两种情况：前者要求停止，后者不施加相应的速度监督。ERI 约束平面运动，上下台阶所需的垂直运动及局部接触调整由感知策略完成。
消融实验：动作跟踪与根部控制需要分别评价
移除航向指令后，SOMA 评测的航向误差由 6.7° 增至 14.6°；移除速度指令后，水平速度误差由 0.21 m/s 增至 0.32 m/s。三种配置的关节角 MAE 均为约 0.13 rad，说明相近的局部动作跟踪质量可以伴随明显不同的根部运动精度。
无速度指令配置的航向误差为 6.3°，略低于完整模型。因此，实验主要支持两类指令分别改善对应的控制维度，也说明关节角误差不足以单独衡量全身运动的执行质量。
05 一个冻结策略，三种任务输入
预训练完成后，模型参数保持固定。动作参考、目标身体状态与奖励函数通过 B 表示构造不同的行为意图，由同一感知策略执行。
奖励推断：用奖励函数指定行为偏好
奖励函数可以表达前进速度、骨盆高度等要求。P-BFM 对经验身体状态的 B 表示进行奖励加权并归一化，将这些要求转化为意图向量。在给定奖励与采样状态集合下，推断得到的意图保持固定，策略根据所在位置的地形生成连续动作。
这种方式以状态偏好指定行为，无需提供完整动作轨迹。实机实验展示了速度与骨盆高度偏好下的台阶行走，速度与高度数值为任务设定。
动作跟踪：参考动作驱动的地形适应
动作跟踪以参考序列作为输入。P-BFM 从当前参考时刻开始，选取最多 8 帧身体状态，经 B 编码、平均并归一化后得到当前行为意图。参考窗口随时间推进，使意图连续反映动作的变化。
感知策略在跟随参考行为的同时，根据地形调整关节运动与接触方式。实机演示包括平台上的舞蹈，以及台阶附近的动态侧翻，展示了运动参考在复杂接触条件下的执行。
遥操作通过同一跟踪接口接入实时重定向后的身体状态目标。输入由预录动作切换为操作者的实时运动，机器人继续依据自身深度观测适应周围地形。
目标到达：由目标身体状态生成过渡动作
目标到达只需提供一个目标身体状态。P-BFM 对其进行 B 编码并归一化，得到行为意图；从当前状态到目标的中间动作由策略生成。
在台阶或坡面上，接近同一目标可能需要不同的支撑位置与接触次序。实机演示呈现了台阶上的身体状态转换，机器人在坐卧、支撑和起身过程中协调全身接触。
06 利用周围地形恢复运动
机器人受到扰动后，可用的恢复动作取决于失衡状态和周围几何。障碍物可能限制摆腿方向，台阶表面也可能提供新的支撑。恢复过程需要同时调整身体姿态、落脚位置与任务执行。
实机片段中，机器人受推后踏上台阶建立支撑，受踢后抬腿跨过附近障碍。这些动作展示了恢复过程中落脚与支撑方式对周围地形的适应。
仿真中的跟踪恢复评测
论文在 180 条 SOMA 录制动作的 281 个完整 10 秒窗口上评估扰动恢复。第 2.0–2.2 秒向骨盆施加 50、100、150 或 200 N 水平力，参考动作继续播放。指标 RR@5s 衡量撤力后恢复或维持目标航向与速度跟踪的比例，成功要求撤力后 5 秒内，航向误差低于 30°、水平速度误差不超过 0.5 m/s，并保持到测试结束且至少持续 1 秒；始终满足容差也计为成功，发生重置不计成功。
07 示范外动作的跟踪与控制精度
论文使用 994 条 SOMA 录制动作评估示范外跟踪能力。这些动作不在 P-BFM 的 40 条 LaFAN 训练序列中。评测匹配机器人模型与地形条件，覆盖七类初始地形、十个地形行，每个动作与地形条件进行五次配对试验。
比较对象包括基于 FB 的无监督控制框架 UFO，以及通过离线参考适配实现感知跟踪的 PMT。评测分别报告关节角、水平速度、航向和滑脚指标，用于观察动作复现与全局控制两个层面的表现。
相较 UFO，P-BFM 的关节角 MAE 从 0.16 rad 降至 0.13 rad，水平速度误差从 0.37 m/s 降至 0.21 m/s，航向误差从 28.9° 降至 6.7°。改善同时出现在局部动作跟踪与根部控制上，与前述 ERI 消融的观察一致。
评测按参考时钟直接比较状态，不进行事后时间对齐；普通跟踪失败后，只要仿真能够继续，后续执行也计入统计。部分基线运行因到达地图边界提前结束，指标按已记录时段计算，因此运行时长并非完全一致。
这里的示范外泛化是相对于 P-BFM 的训练动作集而言，PMT 的完整训练覆盖未知。训练与评测均使用论文配置的七类地形；表中标准差表示评测运行间的变化，不涉及多个独立训练模型。
从运动先验到感知控制
P-BFM 将运动示范的作用从逐一覆盖行为–地形组合，转向提供可复用的运动先验。FB 表示统一任务输入，在线交互学习地形适配，ERI 补充全局运动约束，由此将不同控制任务接入同一感知策略。
现有结果覆盖了多类动作、地形与实机接触行为。能力范围仍取决于运动先验、探索过的环境及所学表示，更广的环境覆盖与更复杂的全身接触仍有待进一步验证。