从 Dayan 的后继表征到人形机器人的BFM：环境动态与任务奖励的解耦

摘要

1993 年，Peter Dayan 在一篇论文中写道："表征才是关键——用正确的方式看待问题，困难也会变得简单。"他提出的"正确方式"是：不根据状态长什么样来表征它，而是根据智能体接下来会访问哪些状态。这个被称为后继表征(Successor Representation, SR)的想法，开启了一个跨越三十年的研究纲领。2025 年，这个纲领的产物——BFM-Zero，一个 4.4 亿参数的单一神经网络——部署在真实的 Unitree G1 人形机器人上，无需任何任务特定训练，就能在零样本条件下完成动作跟踪、目标到达和奖励优化，甚至能在被踢倒后自行恢复并继续执行任务。

本文梳理这条从理论到部署的完整知识谱系：从 Dayan 的表格型 SR，到 Barreto 的后继特征与广义策略改进，到 Blier 的测度论形式化，到 Touati 和 Ollivier 的前向-后向（FB）表征，到 Cetin 的 FB-AWARE（使 FB 在离线 RL 基准上匹敌单任务 SOTA），到 Tirinzoni 的 FB-CPR 和 Li 的 BFM-Zero（真实人形机器人部署）。我们还涵盖了两个 2025–2026 年的新方向：Sikchi 等人的 ReLA/LoLA——在 BFM 潜空间中快速自适应以提升零样本策略 10–40%；以及 Jajoo 等人的 RLDP——用简单的策略无关潜动力学预测替代复杂的后继测度估计，在低覆盖数据场景中展现独特鲁棒性。

这不仅是强化学习中最完整的 theory-to-deployment 故事之一，更揭示了一个正在形成的学术辩论：BFM 的未来在于越来越复杂的后继测度建模，还是更简单、更鲁棒的替代方案？

1. 后继表征——一切的起点

标准的 TD 学习配合函数近似有一个隐患：泛化由表征的度量决定，而这个度量通常是空间的（欧氏距离）。当空间邻近不意味着时间邻近时——比如被一堵墙隔开的两个房间——泛化就会产生有害干扰。

Dayan 的洞见直接回应了这个问题 [Dayan1993]。他提出，状态 $i$ 的表征不应是它自身的坐标或特征，而应是它在当前策略下未来访问所有其他状态 $j$ 的期望次数：

[{\bar{x}}_{i}]_{j} = [I]_{i j} + [Q]_{i j} + [Q^{2}]_{i j} + \dots = [(I - Q)^{- 1}]_{i j}

这里 $Q$ 是转移矩阵。这个后继表征捕获的是状态的时间邻近性而非空间邻近性——被墙隔开的两个状态在 SR 中会自然远离，因为它们几乎不会互相到达。

SR 最优雅的理论结果是：在线性函数近似下，价值函数的权重学习退化为 $w^{*} = h$ ——只需要估计即时奖励。整个时间信用分配问题被表征本身吸收。用 Dayan 的话说，TD 方法变成了"一个直接的估计问题，对此 TD 方法本身其实不再必要。"

更前瞻的是，Dayan 提出了两个贯穿后续三十年研究的观察：(1) 在奖励出现之前，一段"潜伏学习"阶段就可以构建有用的 SR——这预演了后来的无监督 RL；(2) 当策略在控制过程中改变时，SR 会退化——非平稳性问题至今仍未完全解决。

Dayan 在一个 $11 \times 11$ 的网格世界上验证了这些想法（图 1.1）。智能体在迷宫中探索后，从 (5,6) 位置出发的 SR 预测值（图 1.2）呈现出一种空间有序的指数衰减——但注意 SR 自动"识别"了障碍物：障碍物远端状态的预测值几乎为零，因为它们在时间上虽然空间邻近却不可达。这正是 SR 的核心优势：表征的不是空间距离，而是时间距离。当策略收敛到最优路径后，SR 退化为仅沿路径的预测（Dayan 文中的图 4），Dayan 称之为 SR 的"退化"——非平稳性问题至今仍困扰着所有后继表征方法。

图 1.1：11×11 网格任务——Dayan (1993) 的实验平台。智能体可向四个方向移动一步，黑线为障碍物。该环境成为后继表征研究的经典测试平台。

图 1.2：从 (5,6) 出发的未来占用预测（3D 曲面）——Dayan (1993)。z 轴为归一化预测值。预测从起点呈指数衰减——但被障碍物完全阻断，远端状态预测值几乎为零，体现了 SR 对"时间距离"的自动编码。

然而，Dayan 的 SR 严格限于有限表格型 MDP。如何将其推广到连续状态空间，并用它实现零样本任务迁移，成为下一个时代的关键挑战。

2. 从表征到迁移——后继特征与 GPI

Barreto 等人（2017）完成了两个关键的推广 [Barreto2017]：

第一，将离散的指示函数 $1_{{s = j}}$ 替换为连续特征映射 $ϕ (s, a, s^{'}) \in R^{d}$ 。后继特征（Successor Features, SFs）定义为：

ψ^{π} (s, a) = E^{π} [\sum_{i = t}^{\infty} γ^{i - t} ϕ_{i + 1} ∣ S_{t} = s, A_{t} = a]

在奖励线性于特征的假设下（ $r = ϕ^{⊤} w$ ），价值函数分解为 $Q^{π} (s, a) = ψ^{π} (s, a)^{⊤} w$ ——动力学和奖励被完全解耦。

第二，也是最关键的贡献：广义策略改进（Generalized Policy Improvement, GPI）定理。给定一组已学到的策略 ${π_{i}}$ 及其后继特征，对新任务 $w^{'}$ ，GPI 策略为：

π (s) = \arg max_{a} max_{i} {\tilde{ψ}}^{π_{i}} (s, a)^{⊤} w^{'}

Barreto 等人证明，GPI 策略的性能下限是最佳个体策略性能减去近似误差项——甚至在智能体在新任务上执行任何动作之前，这个保证就成立了。这实质上将迁移学习重新定义为动态规划的扩展：贝尔曼最优性原理通过单一策略的最大化来改进策略，GPI 通过多个策略的最大化来实现策略改进。

Barreto 等人（2017）在四房间导航任务上验证了 SF&GPI（图 2.1）。环境中有三类物体（不同奖励），目标在远端房间，任务奖励每 20000 步随机变化。图 2.2 的实验结果表明，所有 SFQL 变体显著优于 QL 和 PRQL——平均回报提升超过 100%。更关键的是，SFQL 在训练任务上的改进会自动泛化到未训练的测试任务，即使智能体从未在这些任务上执行过任何动作。这种泛化能力正是 GPI 定理的核心保证。

图 2.1：四房间导航环境布局——Barreto et al. (2017)。三类物体（形状代表类别）散落在各房间，S 为起点，G 为远端目标。任务奖励每 20000 步随机重新采样。

图 2.2：四房间域中各方法的平均和累计回报——Barreto et al. (2017)。SFQL-h 和 SFQL- 显著优于 QL 和 PRQL（超过 100% 提升），且每学一个新任务，所有任务的性能同步改进——即使智能体从未在测试任务上执行过动作。

图 2.3：USFA 架构——Borsa et al. (2018)。三大模块——输入处理（CNN+LSTM 提取状态嵌入）、策略条件模块（结合和策略嵌入输出个后继特征）、评估模块（给定任务，构造）。

Borsa 等人（2018）进一步统一了这个框架 [Borsa2018]。他们提出通用后继特征逼近器（USFA）： $ψ (s, a, z)$ 同时以任务 $w$ 和策略 $z$ 为条件。改变候选集 $C$ ，USFA 在两个极端之间连续变化： $C = {w^{'}}$ 退化为 UVFA（纯参数泛化）， $C = M$ 退化为 SF&GPI（纯结构迁移）。Borsa 的性能界揭示了选择 $C$ 的核心权衡：添加更多策略可以减小任务距离 $δ_{d}$ ，但同时增加了近似误差 $δ_{ψ}$ 的风险。

SF 框架的成功也暴露了它的根本局限：一切依赖于特征 $ϕ$ 的选择。但好的特征从哪来？为了回答这个问题，需要一次更深的数学审视。

3. 数学理论的完备——作为线性算子的后继状态

Blier 等人（2021）通过将 SR 推广到一般状态空间，用测度论为这个问题提供了数学基础 [Blier2021]。他们定义后继状态算子：

M = (Id - γ P)^{- 1} = \sum_{n \geq 0} γ^{n} P^{n}

$M$ 将任何奖励函数 $R$ 映射为价值函数 $V = M R$ ——这是一个线性算子。在这个框架下，Blier 等人揭示了三个超越标准前向贝尔曼方程的代数结构：

后向贝尔曼方程： $M = Id + γ M P$ 。这是后继状态独有的——价值函数没有对应物。它的直观含义是：将观测到的转移添加到已知路径的"后面"而非"前面"。混合前向和后向 TD，最差收敛特征值的重数从 $n$ （状态数）降为 $1$ 。

贝尔曼-牛顿算子： $M \leftarrow 2 M - M (Id - γ P) M$ 。这是一个二阶方法，对应于路径拼接——它将已知路径的长度加倍，而 TD 每次只添加一步。其连续时间收敛速率独立于环境特征值，不像 TD 受限于谱隙 $1 - γ$ 。

前向-后向（FB）分解： $M (s_{1}, s_{2}) \approx F (s_{1})^{⊤} B (s_{2})$ 。Blier 等人证明，FB 变体 fb-FB 的不动点对应于 $M$ 的截断 SVD，聚焦于低频、长程依赖。这为 FB 表征提供了坚实的理论基础——它不是工程上的临时技巧，而是后继状态算子的自然低秩结构。

图 3.1 以路径视角直观对比了这三种机制。给定观测到的转移 $s \to s^{'}$ ，前向 TD 将它添加到所有已知路径的前端——适合固定目标状态的推理；后向 TD 将它添加到后端——适合固定起点的推理。而 Bellman-Newton 执行的是路径拼接：将所有到 $s$ 的路径、转移 $s \to s^{'}$ 、所有从 $s^{'}$ 出发的路径连接起来，将已知路径长度大致加倍。这一操作在连续时间下的收敛速率独立于环境特征值——不像 TD 受限于谱隙 $1 - γ$ 。Blier 等人证明，fb-FB 的不动点对应于 $M$ 的截断 SVD，这意味着 FB 自动聚焦于环境中长程、低频的结构，天然适合捕捉奖励函数的宏观模式。

图 3.1：三种路径构建策略对比——Blier et al. (2021)。前向 TD（上）在路径前端添加新转移，适合固定目标状态；后向 TD（中）在后端添加，适合固定起点；Bellman-Newton（下）通过拼接已知路径将长度加倍——收敛速率独立于环境谱隙。

Blier 的 FB 分解是为固定策略推导的。Touati 和 Ollivier 的突破在于意识到：如果让策略本身依赖于同一个潜变量 $z$ ，FB 可以走得更远。

4. FB 算法——学习一个表征，优化所有奖励

Touati 和 Ollivier（2021）提出了一个大胆的问题 [Touati2021]：能否在没有任何奖励信号的情况下，仅从环境交互中学到一个紧凑对象，使得任何事后指定的奖励函数都能从中直接读取最优策略——无需任何规划？

FB 的答案是学习两个函数 $F (s, a, z)$ 和 $B (s, a)$ ，使得 $F^{⊤} B$ 近似后继状态密度。然后，FB 框架通过以下三步闭环运行：

无监督学习阶段：从奖励无关的环境交互中学习 $F$ 和 $B$ 。
奖励编码：对于任何奖励函数 $r$ ，计算 $z_{R} = E_{(s, a) \sim ρ} [r (s, a) B (s, a)]$ ——一个期望值，一次前向传播。
最优策略提取：直接使用 $π_{z_{R}} (s) = \arg max_{a} F (s, a, z_{R})^{⊤} z_{R}$ ——无需规划，无需梯度下降，无需微调。

这就是 FB 范式的核心： $B$ 是通用奖励编码器，将任何奖励函数映射为 $d$ 维向量； $F$ 是通用策略解码器，给定任何 $z$ 输出对应的最优策略。定理 1 给出了完美训练下的最优性保证；定理 5 证明近似训练下的次优性与模型的近似误差成正比（ $\frac{3 ε ∥ r ∥_{\infty}}{1 - γ}$ ）。

FB 的一个重要特性由图 4.1 直观展示：表示秩 $d$ 控制空间精度。当 $d = 25$ 时，估计的最优 Q 值在目标附近出现"模糊"——智能体常常停在目标旁边而非精准到达。当 $d = 75$ 时，热力图中目标位置的 Q 值尖锐聚焦，智能体精准到达目标。这揭示了 FB 的核心权衡： $d$ 太小会导致奖励模糊（reward blurring）——低秩近似相当于只保留后继测度的前 $d$ 个主成分，丢弃了精细的空间信息。Blier2021 从理论上解释：FB 对应 $M$ 的截断 SVD，小 $d$ 仅捕获最低频、最长程的动力学模式。

图 4.1：连续迷宫中的热力图——Touati & Ollivier (2021)。左：时，目标周围 Q 值模糊、缺乏尖锐峰值——智能体常停在目标旁边。右：时，精确聚焦于目标位置。这直观展示了表示秩对空间精度的控制。

Touati 等人（2023）随后提供了系统的实证裁决 [Touati2023]。在 4 个环境、13 个任务、3 种不同探索缓冲区（RND、APS、Proto）上各 10 个随机种子的重复测试中（图 4.2）：FB 达到了监督离线 TD3 性能的 81%（RND 缓冲区最佳达 85%），显著优于最佳 SF 变体（拉普拉斯特征函数，74%）。Touati 文中的箱线图进一步揭示了方法间的方差差异——FB 不仅平均性能最高，跨环境、跨缓冲区的稳定性也最好。核心发现是：大多数特征学习方法产生的特征存在有效秩坍塌——在迷宫式环境中，仅约 30% 的特征值超过阈值，而 FB 特征的谱分布均匀得多。

图 4.2：10 种 SF 方法 + FB 的聚合零样本分数——Touati et al. (2023)。以离线 TD3 监督分数的百分比表示。FB 达到 81%，拉普拉斯特征函数 74%，其余方法在 30–65% 之间。FB 的优势在迷宫式环境和 RND 缓冲区中最为显著。

然而，这些结果都来自迷宫、吃豆人和简单运动任务。FB 要走向实用，还必须解决两个关键瓶颈：(1) 在标准离线 RL 基准（如 D4RL）上，原生 FB 性能几乎为零——其 TD3 式策略优化在窄行为分布数据集上遭遇严重的分布偏移；(2) FB 的任务编码 $z = E [r B]$ 是线性的，限制了任务表示的空间精度和表达能力。Cetin 等人（2024）的 FB-AWARE 同时解决了这两个问题 [Cetin2024]。

5. 让 FB 走向实用——FB-AWARE 的离线 RL 与自回归特征

离线 RL 的挑战：从零到匹敌 SOTA。 原生 FB 在 D4RL locomotion-v2 上总分仅 22.3，而单任务 SOTA 方法 XQL 达到 752.9——差距超过 30 倍。问题在于 FB 原生的 TD3 策略改进在离线数据上产生灾难性的外推误差。

FB-AWARE 的解决方案分为两部分。第一，优势加权回归（Advantage-Weighted Regression, AW）：将 TD3 式策略改进替换为加权行为克隆——数据集中的动作按指数化优势加权，使用改进的加权重要性采样（IWIS）将偏差从 $O (n^{- 1})$ 降低到 $O (n^{- 2})$ 。结合评估式采样（Evaluation-Based Sampling：从策略采样 $M$ 个动作，选 $Q$ 值最大的执行）和双 F 网络不确定性表征（均值而非取小），FB-AW 在 Humanoid 等困难环境中实现了从零到满意性能的关键跃迁。

自回归特征：打破线性约束。 FB 的第二个局限源于其任务编码方式。原生 FB 中 $z = E [r (s) B (s)]$ 是 $r$ 的线性函数——任务被识别为与一组固定特征 $B$ 的相关性向量。Cetin 等人提出自回归特征：将 $z$ 和 $B$ 分解为 $K$ 个块，按层级计算：

z_{1} = E [r (s) B_{1} (s)], z_{2} = E [r (s) B_{2} (s, z_{1})], z_{3} = E [r (s) B_{3} (s, z_{1}, z_{2})], \dots

后期的特征块以前期的任务编码为条件，使得整体任务表示 $r \mapsto z$ 可以是任意非线性映射（附录定理 A.3 证明两层自回归结构即可实现通用逼近）。直觉上， $z_{1}$ 提供粗粒度的任务定位（"奖励在左上角"）， $z_{2}$ 利用这一信息提取更精细的特征。在实现上，这通过带掩码的 MLP 高效实现—— $z_{i}$ 到输出块 $B_{j}$ （ $j \leq i$ ）的连接被移除。

实验结果。 在 D4RL locomotion-v2 上，FB-AWARE 总分 719.5，显著缩小了与有奖励训练的单任务 SOTA 方法（XQL: 752.9, IQL: 692.6）的差距——而 FB-AWARE 始终是无奖励、零样本的通用智能体。下表展示了 D4RL 上的完整对比（节选自 Cetin2024 表1）：

数据集	BC	IQL	XQL	FB (原生)	FB-AW	FB-AWARE
halfcheetah-medium	42.6	47.4	48.3	49.0	60.0	62.7
hopper-medium	52.9	66.3	74.2	0.9	59.1	59.9
walker2d-medium	75.3	78.3	84.2	0.5	80.5	89.6
halfcheetah-med-replay	36.6	44.2	45.2	30.8	52.7	50.8
hopper-med-replay	18.1	94.7	100.7	16.4	87.1	89.6
walker2d-med-replay	26.0	73.9	82.2	9.9	91.7	98.8
halfcheetah-med-expert	55.2	86.7	94.2	91.7	99.6	100.1
Locomotion-v2 总计	466.7	692.6	752.9	22.3	696.2	719.5

原生 FB 总分仅 22.3（在 hopper-medium 上几乎为零），而 FB-AWARE 的 719.5 已接近有奖励训练的 XQL（752.9）——证明了离线 RL 技术对 BFM 训练的必要性。在 Jaco 机械臂目标到达任务上，自回归特征带来约 15% 的相对提升。在 FrankaKitchen 上，FB-AWARE（52.5/53.5）与 IQL（46.3/51.0）相当。

图 5.1 展示了自回归 $B$ 网络的实现方式：每一层的连接被掩码限制，使得低序号输出块只能看到高序号输入块。这是一种层级化先验——鼓励粗粒度特征（ $B_{1}$ ）先定位任务的宏观区域，细粒度特征（ $B_{2}, B_{3}, \dots$ ）再在给定区域信息后提取精确细节。在测试时，固定点的计算需要多次网络前向传播（每个块单独计算），但在训练时可以利用掩码结构做单次高效前向传播。

图 5.1：的自回归架构——Cetin et al. (2024)。第个输出块仅依赖输入的前个块。该层级结构将粗粒度任务定位与细粒度特征提取分离—— 先确定"奖励在哪"，后期块再提取区域特定的精确特征。

在 Jaco 机械臂目标到达任务上（图 5.2），FB-AW 将原生 FB 的性能提升了一倍以上，而 FB-AWARE（4 个自回归块）在此基础上又提升了约 15%。值得注意的是，自回归特征的优势在表示维度 $d$ 较小时最为明显——这与直觉一致：当总维度受限时，层级化地复用表示能力比平均分配更高效。Cetin 文中的图 3 和图 4 分别展示了 DMC 运动任务上集内（in-dataset）和集外（out-of-dataset）任务的评估结果：AW 组件在 Humanoid 上是决定性的（无 AW 时几乎为零性能），而自回归特征对集外任务有小幅但系统的增益。

图 5.2：Jaco 机械臂环境中各算法的目标到达平均累积奖励——Cetin et al. (2024)。FB-AWARE（4-block, =128）比 FB-AW 提升约 15%，验证了层级化任务编码在空间精度任务上的优势。

一个耐人寻味的发现： 尽管自回归特征在理论上将 FB 的表达能力从线性子空间扩展到任意非线性流形，但在大多数实验中的增益是温和的。Cetin 等人推测，BFM 的表达能力可能并非当前基准的主要瓶颈——数据质量和离线优化技术才是决定性因素。

向人形机器人迈进。 FB-AWARE 证明了通用、无奖励的 FB BFM 可以在标准离线 RL 基准上匹敌单任务 SOTA 方法。下一个问题是：FB 能否扩展到 69 维动作空间、不稳定的全身人形机器人控制？

6. 行为基础模型——FB 用于控制真实机器人

Tirinzoni 等人（2025）用 FB-CPR 给出了答案 [Tirinzoni2025]。核心挑战是：在 69 维动作空间中进行无监督 FB 探索会产生无用的、不稳定的行为。解决方案是条件策略正则化（CPR）：将无标签运动捕捉轨迹嵌入潜空间（ $z_{τ} = \frac{1}{| τ |} \sum_{s \in τ} B (s)$ ），然后训练一个以 $z$ 为条件的 GAN 判别器 $D (s, z)$ 来区分数据集分布和策略分布。Actor 最大化组合目标：

L_{FB - CPR} (π) = - E [F (s, a, z)^{⊤} z + α Q_{D} (s, a, z)]

其中 $Q_{D}$ 是判别器对数比率奖励的价值函数。结果：FB-CPR 在奖励优化、目标到达和动作跟踪三个类别上平均达到单任务上限算法性能的 73.4%——全部零样本。人类评估者在 83% 的奖励任务和 69% 的目标任务中认为 FB-CPR 的动作比纯 TD3 更自然。模型扩展到 2.88 亿参数后，所有指标单调改进。

Pirotta 等人（2024）的 FB-IL 概览如图 6.1 所示。核心思想简洁而强大：所有主流模仿学习原则都可以表达为在潜空间 $Z$ 中优化 $z$ 的问题——行为克隆（BC）最小化专家与策略的动作分布差异，分布匹配（DM）最小化状态访问分布的差异，贝尔曼残差方法最小化专家后继测度与策略后继测度之间的 Bellman 误差。因为 $z$ 只有 50-100 维（而策略网络有数百万参数），优化可以在秒级完成——FB-IL 用 5 秒达到专家性能的 80-95%，而离线 IL 基线 DEMODICE 需要近 13 小时——实现了三个数量级的加速。

图 6.1：FB-IL 概览——Pirotta et al. (2024)。同一预训练 FB 模型通过优化低维潜变量实现多种 IL 原则——BC、分布匹配、Bellman 残差——在秒到分钟级完成，而传统离线 IL 需要数小时。

Pirotta 等人（2024）展示了 FB 的另一个维度 [Pirotta2024]：同一个预训练 FB 模型可以用来实现即时模仿学习。给定少量专家轨迹，不同的 IL 原则——行为克隆、分布匹配、贝尔曼残差最小化——都归结为在低维潜空间（ $d = 50$ – $100$ ）中优化 $z$ ，而非微调整个策略网络。 ${ER}_{FB}$ 在不到 5 秒内达到专家性能的 80–95%；最复杂的贝尔曼残差方法也只需约 4 分钟，而离线 IL 基线（如 DEMODICE）需要近 13 小时——三个数量级的加速。

FB-CPR 的核心架构如图 6.2 所示。无标签运动捕捉轨迹通过 $B$ 网络嵌入潜空间得到 $z_{τ}$ ，然后 GAN 判别器 $D (s, z)$ 学习区分"真实"的（数据集状态, $z$ ）对和"虚假"的（策略生成状态, $z$ ）对。这个判别器的对数比率构成一个内在奖励信号，引导策略在优化任务目标的同时产生自然、类人的动作——无需任何显式的运动标签。

图 6.2：FB-CPR 架构概览——Tirinzoni et al. (2025)。运动捕捉轨迹嵌入潜空间后，GAN 判别器以为条件区分数据集分布与策略分布——对数比率奖励驱动策略同时优化任务目标和动作自然度。

Li 等人（2025）的 BFM-Zero 是这条弧线在当下的终点 [Li2025]：将 FB-CPR 从仿真部署到真实的 Unitree G1 人形机器人。三个关键的 sim-to-real 扩展：(1) 非对称训练——Actor 接收噪声观测历史，Critic 访问特权仿真状态；(2) 大规模域随机化（质量、摩擦、关节偏移、质心偏移）；(3) 辅助安全 Critic（关节限位、自碰撞、脚滑动）。图 6.3 展示了 BFM-Zero 从仿真到真实的完整 pipeline。三个关键的 sim-to-real 扩展在图中得到突出——(1) 非对称 Actor-Critic 架构：Actor 仅接收带噪声的观测历史（模拟真实传感器），而 Critic 在训练时访问特权仿真状态；(2) 广泛的域随机化覆盖质量、摩擦、关节偏移等物理参数；(3) 辅助安全 Critic 提供关节限位、自碰撞和脚滑动的惩罚信号。这些设计使得在仿真中训练的 BFM 能够零样本迁移到真实硬件上，无需任何微调。

图 6.3：BFM-Zero 概览——Li et al. (2025)。从 FB-CPR 仿真训练到 Unitree G1 真实部署的完整 pipeline。非对称训练（Actor 噪声历史 / Critic 特权状态）、域随机化、辅助安全 Critic 构成 sim-to-real 的关键。

最引人注目的结果是扰动恢复：机器人被推搡、踢踹甚至拖倒在地后，能自然恢复并继续执行任务——这不是通过显式鲁棒性训练实现的，而是 FB 潜空间的结构化技能库使得策略能够灵活切换到备选行为模式。在负载 4 公斤的情况下，通过交叉熵方法（CEM）优化潜变量，单腿站立时间从不到 5 秒延长到超过 15 秒，动作跟踪误差降低 29.1%。

这几个应用的成功也让我们更清楚地看到了当前范式的边界。但还有一个实际的问题：即使是最好的 BFM，其零样本策略也是次优的——推理过程中的误差（ $z_{r} = E [r B]$ 的线性投影）导致性能损失。Sikchi 等人（2025）提出了一个直接的问题：能否在几次在线交互中快速缩小这个差距 [Sikchi2025]？

7. 快速自适应——从 BFM 潜空间中挖掘更好的策略

图 7.1 概括了 Sikchi 等人方法的核心直觉。任何 BFM 的无监督预训练产生了两样东西：(1) 一个策略空间 ${π_{z}}$ 参数化于低维潜变量 $z$ ，(2) 一个推理程序 $r \mapsto z_{r}$ 将奖励函数映射到潜空间。零样本策略 $π_{z_{r}}$ 是推理程序的输出。Sikchi 等人的核心发现是： $π_{z_{r}}$ 并非 ${π_{z}}$ 中最好的策略——瓶颈在于推理程序（线性投影 $E [r B]$ 丢失了奖励的精细结构），而非策略空间本身。他们提出的 ReLA 和 LoLA 通过在潜空间中做少量梯度步，在不改变策略网络参数的情况下找到显著更好的 $z$ 。

图 7.1：快速自适应方法概览——Sikchi et al. (2025)。BFM 预训练提供潜策略空间和零样本推理。ReLA/LoLA 在低维空间中搜索，找到比更好的策略——无需改变策略网络参数。

关键发现：BFM 的潜空间已经包含了比零样本推理更好的策略。 Sikchi 等人证明，FB、HILP、PSM 和 FB-CPR 四种 BFM 的潜策略空间 ${π_{z}}$ 中，存在性能显著优于零样本策略 $π_{z_{r}}$ 的策略——瓶颈不在于策略空间，而在于推理过程。

为什么在潜空间中搜索？ 潜变量 $z$ 只有约 100 维，而策略网络有数百万参数。在动作空间中微调所有参数（如 TD3-I）会导致灾难性的"遗忘"——性能在恢复前急剧下降。Sikchi 等人提出了两种在潜空间中搜索的互补算法：

ReLA（Residual Latent Adaptation，残差潜变量自适应）：一种离策略 Actor-Critic 方法。将 Q 函数分解为冻结的 BFM 基础项加一个可学习的残差项：

Q_{r}^{π_{z}} (s, a) = ψ (s, a, z)^{⊤} z_{r} + Q^{residual} (s, a; θ)

残差 Critic 只需一个小型网络（2 层 MLP，64 隐藏单元 vs 完整 Critic 的 1024 单元），因为理论上它只需要修正奖励投影误差 $(I - Π_{B}) r$ 。梯度仅通过 $z$ 回传，策略网络保持冻结。但 ReLA 在部分环境中仍会经历初始性能下降——训练 Critic 时的分布偏移导致"反学习"。

LoLA（Lookahead Latent Adaptation，前瞻潜变量自适应）：一种纯 Actor 方法，完全避开了 Critic 学习的分布偏移问题。参数化一个关于潜变量的高斯分布 $π_{μ, σ} = N (μ, σ)$ ，从 $μ = z_{r}$ 初始化。采样 $k$ 个潜变量，执行 $n$ 步在线 rollout，用冻结的 BFM 后继特征引导终态价值：

R^{n} (s_{0}, z) = \sum_{t = 0}^{n - 1} γ^{t} r (s_{t + 1}) + γ^{n} ψ (s_{n + 1}, π_{z} (s_{n + 1}), z)^{⊤} z_{r}

然后用 REINFORCE 配合 leave-one-out 基线估计梯度。LoLA 运行速度是 ReLA 的 157 倍（2,200 vs 14 FPS），并且实现了单调性能改进——初始性能从不下降，这在所有 BFM 和所有测试域上均成立。

实验结果。 在 4 种 BFM 和 64 个任务上，LoLA 在几十个 episode 内实现了 10–40% 的提升。在 HumEnv（45 个人形机器人任务）上，20 个 episode 内提升约 10%，200 个 episode 内提升约 40%。余弦相似度分析揭示了一个有趣的现象：ReLA 在潜空间中偏离 $z_{r}$ 更远（与性能波动相关），而 LoLA 保持更接近但仍能找到显著更好的策略——表明性能相近的策略可能对应非常不同的潜变量。

图 7.2 汇总了所有方法和 BFM 的聚合性能改进（上）以及潜空间中的余弦相似度变化（下）。上图的纵轴是相对于零样本策略的性能提升百分比，可以清楚看到：动作空间微调方法（TD3-I 灰色线）几乎在所有 BFM 上经历了显著的初始性能崩溃——甚至低于零样本基线。ReLA（蓝色）在部分领域（尤其是 Pointmass）也有小幅下降，但远不及动作空间方法严重。LoLA（绿色）在所有 BFM 和所有任务上实现了单调改进——曲线从不低于零。下图解释了原因：ReLA 在潜空间中偏离 $z_{r}$ 更远（余弦相似度快速下降），而 LoLA 保持在 $z_{r}$ 附近进行精细调整——"小步快走"的策略在潜空间搜索中更有效。

图 7.2：上：不同自适应方法相对于零样本策略的性能改进（聚合 19 个 FB/HILP/PSM 任务 + 45 个 FB-CPR 任务）——Sikchi et al. (2025)。LoLA 在所有 BFM 上实现单调改进，TD3-I（动作空间微调）经历严重初始崩溃。下：学习到的与的余弦相似度——ReLA 偏离更远（与性能波动相关），LoLA 保持接近。

一个实际启示： 在 LoLA 和 ReLA 之间，LoLA 的单调改进和计算效率（157× ReLA 的 FPS）使其成为实际部署的默认选择——前提是可以对环境进行任意状态重置（privileged resets）。这进一步强化了 Pirotta2024 的发现：BFM 潜空间的结构化特性使得在其中搜索远比微调整个模型高效。

8. 更简单的路径？——RLDP 挑战 FB 共识

BFM 的核心假设是：需要通过学习后继测度（Successor Measures）来获得好的状态表征。FB、PSM、HILP 都通过贝尔曼备份来联合优化表征和后继特征——但这也引入了自举不稳定性、需要先验指定策略/奖励类别、以及可能的外推动作查询。Jajoo 等人（2026）提出了一个挑战性的问题 [Jajoo2026]：这些复杂的表征学习目标真的是零样本 RL 所必需的吗？

RLDP（Regularized Latent Dynamics Prediction，正则化潜动力学预测）：一个两阶段的简单替代方案。

第一阶段——表征学习。 学习状态编码器 $ϕ : S \to R^{d}$ ，通过预测未来的潜状态来实现——这是一个完全策略无关的监督学习目标：

L_{d} (ϕ, g, w) = E_{τ \sim D} [\sum_{t = 1}^{H} ∥ h_{t} - \bar{ϕ} (s_{t}) ∥^{2}], h_{t + 1} = g (h_{t}, a_{t})^{⊤} w

其中 $h_{0} = ϕ (s_{0})$ ， $\bar{ϕ}$ 是缓慢移动的目标编码器（EMA）。然而，图 8.1 展示了 RLDP 的两阶段设计。第一阶段（表征学习）完全独立于策略——仅通过预测"给定当前状态和动作序列，未来潜状态是什么"来训练编码器 $ϕ$ 。这避免了 FB/PSM/HILP 中贝尔曼备份的所有问题：不需要指定策略或奖励类别、不查询外推动作、不存在自举不稳定性。第二阶段（BFM 训练）将 $ϕ$ 冻结，用标准后继测度对比损失训练后继特征 $ψ$ 和策略 $π_{z}$ ——这与 FB 等方法的第二阶段完全相同，只是表征不再参与梯度更新。

图 8.1：RLDP 两阶段设计——Jajoo et al. (2026)。第一阶段（左）：通过潜动力学预测 + 正交正则化学习策略无关的状态表征。第二阶段（右）：冻结，用标准后继测度损失训练 BFM（ + ）。

Jajoo 等人发现单纯的潜动力学预测会导致"温和特征坍塌"——状态表征的余弦相似度随训练增加，缩小了可表示奖励函数的张成空间。解决方案简单而有效：添加正交正则化：

L_{r} (ϕ) = E_{s, s^{'} \sim ρ} [ϕ (s)^{⊤} ϕ (s^{'})]

将特征投影到超球面 $S^{d - 1}$ 上，最小化随机状态对的余弦相似度。即使在很小的正则化系数 $λ = 0.01$ 下，这也足以维持特征多样性。

理论基础。 引理 4.3 证明，最小化 RLDP 损失可以上界任何 Lipschitz 值策略的后继测度预测误差——这为为什么动力学预测特征适用于 BFM 训练提供了形式化保证。

第二阶段——BFM 训练。 冻结 $ϕ$ ，用标准的后继测度对比损失训练后继特征 $ψ (s, a, z)$ 和策略 $π_{z}$ 。这完全是一个标准的 BFM——只是表征来自策略无关的动力学预测而非贝尔曼备份。

实验结果。 在标准 DMC + ExoRL 基准上，RLDP 匹敌或超越 FB、PSM 和 HILP。在 SMPL 人形机器人 45 个任务上，RLDP 与基线方法竞争力相当，部分任务甚至超越了 oracle 性能。但 RLDP 真正的优势在于低覆盖数据场景：在 D4RL medium 和 medium-expert 数据集的 6 个任务中，RLDP 在 5 个任务上超越所有基线——而基于贝尔曼备份的方法（FB、PSM、HILP）在这些低覆盖场景中表现显著更差。原因在于 RLDP 的策略无关性——它只使用数据集中实际观测到的 $(s, a, s^{'})$ 转移，从不查询外推动作。

图 8.2 是 RLDP 论文中最具诊断性的实验结果。它展示了训练过程中随机采样状态对的平均余弦相似度变化——无正则化时（蓝色），相似度从约 0.45 单调上升至 0.55+，表明所有状态表征在趋于同质化。这种"温和坍塌"不像完全坍塌（所有表征坍缩到同一点）那样彻底——动力学预测损失仍在下降——但它系统性地缩小了可表示奖励函数的张成空间。添加 $λ = 1$ 的正交正则化（橙色）将相似度稳定维持在 0.35 左右——特征多样性得以保持。后续消融实验（Jajoo 文中的图 5）进一步确认：即使 $λ = 0.01$ 也带来统计显著的性能改进。

图 8.2：训练过程中状态表征的平均余弦相似度变化——Jajoo et al. (2026)。无正则化（蓝）时相似度持续上升——"温和特征坍塌"缩小了奖励函数的可表示空间。添加正交正则化（橙，）将相似度稳定在 0.35——特征多样性得到保持。

RLDP 最引人注目的结果来自低覆盖数据场景（图 8.3）。在 D4RL medium 和 medium-expert 数据集的 6 个任务上，RLDP 在 5 个任务中超越了 FB、PSM 和 HILP——每个点代表一个 (任务, 种子) 对的 $Δ = R_{RLDP} - R_{baseline}$ 。灰色菱形标记的 IQM（四分位距均值）在所有对比中均为正值，且大部分质量分布在零线以上。这与 RLDP 的策略无关性直接相关：FB/PSM/HILP 在训练表征时需要查询当前策略下的外推动作——在窄数据分布下，这些外推查询给出严重错误的 Q 值估计，进而破坏表征学习。RLDP 只使用数据中实际出现的 $(s, a, s^{'})$ ——没有外推，没有污染。

图 8.3：RLDP vs 基线在低覆盖 D4RL 数据集上的成对比较——Jajoo et al. (2026)。每个点为一个 (任务, 种子) 对的性能差异。IQM（灰菱形）在所有对比中为正——RLDP 在 6 个任务中的 5 个上显著超越贝尔曼备份方法。

范式张力。 RLDP 的提出在 BFM 领域引发了一个根本性的方法论辩论。FB 谱系认为后继测度估计是必需的；RLDP 证明策略无关的潜动力学预测可以匹敌甚至超越这些方法，尤其在低覆盖数据场景中。然而，RLDP 尚未在 FB-CPR 成功的人形机器人规模（69 维动作空间）上测试。两种方法是否可以结合——例如用 RLDP 表征替代 FB 中的联合学习 $B$ ——是一个待探索的方向。

9. 开放问题与未来方向

固定动力学假设：从 Dayan1993 到 Jajoo2026，所有论文都假设环境转移动力学是平稳的 [Dayan1993, Li2025]。现实中，动力学持续变化——负载、地形、磨损。Sikchi2025 的 LoLA 提供了快速在线自适应，Li2025 的 CEM 在负载变化下降低跟踪误差 29.1%——但这些都是被动的。一个能预测或对动态变化保持不变的 BFM 仍未出现。

表征学习的范式辩论：FB 谱系认为通过贝尔曼备份学习后继测度是必需的 [Touati2021, Cetin2024, Tirinzoni2025]。Jajoo2026 的 RLDP 挑战了这一共识——证明策略无关的潜动力学预测可以匹敌甚至超越这些方法，尤其在低覆盖数据场景中表现出独特鲁棒性 [Jajoo2026]。但 RLDP 尚未在 69 维动作空间的人形机器人控制规模上测试。两种方法能否结合——例如用 RLDP 表征初始化 FB 的 $B$ 网络——是一个开放的实证问题。

推理与自适应的权衡：Sikchi2025 证明 BFM 潜空间中确实存在更好的策略，只是零样本推理找不到它们 [Sikchi2025]。Cetin2024 的自回归特征通过非线性推理部分解决了这个问题 [Cetin2024]。但最优策略是在训练时还是测试时找到更高效，仍无定论。

环境特定预训练：每个 BFM 必须为每个新机器人或环境从头训练 [Tirinzoni2025, Li2025]。Jajoo2026 的两阶段 RLDP（表征→策略）暗示了一个部分解耦的方向：如果表征可以跨环境共享，只有策略需要重新训练——但这尚未被证明。

数据质量与算法的交互：Cetin2024 的发现耐人寻味：在高品质 MOOD 数据上，优势加权是必需的；在低品质 RND 探索数据上，优势加权反而有害 [Cetin2024]。Jajoo2026 进一步证明策略无关表征在低覆盖场景中更鲁棒 [Jajoo2026]。但没有任何工作为 BFM 预训练提供数据收集的形式化指导原则。

** Scaling Law **：Li2025 报告模型和数据规模的扩展行为未被系统刻画。Tirinzoni2025 显示 2× 扩展带来单调改进。Cetin2024 表明在当前基准上数据质量比模型表达能力更重要 [Cetin2024]。FB 类 BFM 是否像 LLM 一样服从可预测的Scaling Law，以及数据质量与模型规模如何相互作用，仍是原则性的未解问题。

10. 结语

后继表征可以说是强化学习中最为成功的思想之一——不是因为它刚提出时就是实用的（Dayan 的 1993 年论文只在 11×11 的网格世界上做了实验），而是因为它识别出了一种根本的分解：动力学可以与奖励分离。

每一个代际都解决了前一代的关键局限：Dayan 引入了 SR 但受限于表格型 MDP [Dayan1993]；Barreto 推广到连续空间但需要手工特征 [Barreto2017]；Touati 和 Ollivier 通过联合学习 $F$ 和 $B$ 消除了特征瓶颈 [Touati2021]；Cetin 通过自回归特征和优势加权回归使 FB 在离线 RL 基准上匹敌单任务 SOTA [Cetin2024]；Tirinzoni 和 Li 将 FB 扩展到真实人形机器人 [Tirinzoni2025, Li2025]；Sikchi 等人证明在 BFM 潜空间中搜索可以快速超越零样本策略 [Sikchi2025]。

但 2025–2026 年也带来了一个挑战：Jajoo 等人的 RLDP 表明，简单的策略无关潜动力学预测可以匹敌甚至超越整个 FB 谱系赖以建立的复杂后继测度机制——尤其在贝尔曼备份失效的低覆盖场景中 [Jajoo2026]。这构成了领域内一个健康的学术张力：BFM 的未来在于越来越复杂的后继测度建模，还是更简单、更鲁棒的替代方案？

如果过去三十年的方法论有任何启示，那就是：下一个突破将来自用"正确的方式"看待问题——一种在事后让困难看起来微不足道的方式。而那个"正确的方式"是后继测度、潜动力学、还是尚未被想象的东西，正是接下来十年的核心问题。正如 Dayan 在 1993 年所写："表征才是关键。"

参考文献

[Dayan1993] Dayan, P. (1993). Improving Generalization for Temporal Difference Learning: The Successor Representation. Neural Computation, 5(4), 613–624.
[Barreto2017] Barreto, A., Dabney, W., Munos, R., Hunt, J. J., Schaul, T., van Hasselt, H., & Silver, D. (2017). Successor Features for Transfer in Reinforcement Learning. NeurIPS.
[Borsa2018] Borsa, D., Barreto, A., Quan, J., Mankowitz, D., Munos, R., van Hasselt, H., Silver, D., & Schaul, T. (2018). Universal Successor Features Approximators. ICML 2018.
[Blier2021] Blier, L., Tallec, C., & Ollivier, Y. (2021). Learning Successor States and Goal-Dependent Values: A Mathematical Viewpoint. arXiv preprint.
[Touati2021] Touati, A., & Ollivier, Y. (2021). Learning One Representation to Optimize All Rewards. NeurIPS 2021.
[Touati2023] Touati, A., Rapin, J., & Ollivier, Y. (2023). Does Zero-Shot Reinforcement Learning Exist? ICLR 2023.
[Pirotta2024] Pirotta, M., Tirinzoni, A., Touati, A., Lazaric, A., & Ollivier, Y. (2024). Fast Imitation via Behavior Foundation Models. ICLR 2024.
[Tirinzoni2025] Tirinzoni, A., Touati, A., Farebrother, J., Guzek, M., Kanervisto, A., Xu, Y., Lazaric, A., & Pirotta, M. (2025). Zero-Shot Whole-Body Humanoid Control via Behavioral Foundation Models. ICLR 2025.
[Li2025] Li, Y., Luo, Z., Zhang, T., Dai, C., Tirinzoni, A., Kanervisto, A., Weng, H., Kitani, K., Guzek, M., Touati, A., Lazaric, A., Pirotta, M., & Shi, G. (2025). BFM-Zero: A Promptable Behavioral Foundation Model for Humanoid Control Using Unsupervised Reinforcement Learning. arXiv preprint / under review.
[Cetin2024] Cetin, E., Touati, A., & Ollivier, Y. (2024). Finer Behavioral Foundation Models via Auto-Regressive Features and Advantage Weighting. arXiv preprint.
[Sikchi2025] Sikchi, H., Tirinzoni, A., Touati, A., Xu, Y., Kanervisto, A., Niekum, S., Zhang, A., Lazaric, A., & Pirotta, M. (2025). Fast Adaptation with Behavioral Foundation Models. arXiv preprint.
[Jajoo2026] Jajoo, P., Sikchi, H., Agarwal, S., Zhang, A., Niekum, S., & White, M. (2026). Regularized Latent Dynamics Prediction is a Strong Baseline for Behavioral Foundation Models. arXiv preprint.