vMF分布

读一篇关于Zero-Shot的论文(Zero-Shot Adaptation of Behavioral Foundation Models to Unseen Dynamics)
其中对于RL任务和RL动力学使用不同的latent表示
将动力学latent的h向量作为聚类中心，在其周围采样任务latent向量z，可以得到在task空间中不同动力学的z向量的聚类分布
如下图所示
这里的latent空间使用归一化的超球面，在球面上使用了一种vMF分布作为z的采样分布
这篇笔记是vMF分布的学习笔记

从高斯分布到 vMF 分布

方向统计（directional statistics）研究的是落在单位球面上的数据——罗盘读数、光的入射方向、归一化词向量、蛋白质主链的扭转角等等。这些数据没法用普通高斯直接建模，因为高斯定义在整个 ${\mathbb{R}}^p$ 上。本文从一维高斯出发，逐步过渡到方向统计中最核心的分布：von Mises–Fisher（vMF）分布。

---

01 · 一维高斯分布

从一维高斯分布密度函数开始讨论：

$$\begin{array}{}\text{(1.1)}& f(x)=\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{(x-\mu {)}^2}{2{\sigma }^2})\end{array}$$

把指数里的平方展开：

$$\begin{array}{}\text{(1.2)}& -\frac{(x-\mu {)}^2}{2{\sigma }^2}=\frac{\mu }{{\sigma }^2}x-\frac{x^2}{2{\sigma }^2}-\frac{{\mu }^2}{2{\sigma }^2}\end{array}$$

最后一项与 $x$ 无关，可以吸收进归一化常数。于是高斯的"骨架"只剩两块：一个关于 $x$ 的线性项，和一个二次项。

$$\begin{array}{}\text{(1.3)}& f(x)\propto \exp (\frac{\mu }{{\sigma }^2}x-\frac{x^2}{2{\sigma }^2})\end{array}$$

线性项 ${\displaystyle \frac{\mu }{{\sigma }^2}}x$ 决定分布的位置；二次项 $-{\displaystyle \frac{x^2}{2{\sigma }^2}}$ 决定分布的形状。但是球面上没有二次项的位置——这正是 vMF 比高斯简单的原因。

一维高斯（密度曲线 + 实时采样）

一维高斯分布

拖动滑块观察 $\mu$ 平移曲线、 $\sigma$ 改变胖瘦。浅色柱状图是从该分布实时采样得到的直方图，与理论曲线始终吻合。

---

02 · 多元各向同性高斯

把标量 $x$ 换成 $p$ 维向量 $\mathbf{x}\in {\mathbb{R}}^p$ ，协方差取各向同性 ${\sigma }^2\mathbf{I}$ ：

$$\begin{array}{}\text{(2.1)}& \mathcal{N}(\mathbf{x};\mathit{\mu },{\sigma }^2\mathbf{I})=(2\pi {\sigma }^2{)}^{-p/2}\exp (-\frac{\parallel \mathbf{x}-\mathit{\mu }{\parallel }^2}{2{\sigma }^2})\end{array}$$

展开欧氏距离的平方：

$$\begin{array}{}\text{(2.2)}& \parallel \mathbf{x}-\mathit{\mu }{\parallel }^2=\parallel \mathbf{x}{\parallel }^2-2{\mathit{\mu }}^{\mathrm{\top }}\mathbf{x}+\parallel \mathit{\mu }{\parallel }^2\end{array}$$

代回指数部分：

$$\begin{array}{}\text{(2.3)}& -\frac{\parallel \mathbf{x}-\mathit{\mu }{\parallel }^2}{2{\sigma }^2}=\underset{\text{线性项}}{\underbrace{\frac{{\mathit{\mu }}^{\mathrm{\top }}\mathbf{x}}{{\sigma }^2}}}-\underset{\text{二次项}}{\underbrace{\frac{\parallel \mathbf{x}{\parallel }^2}{2{\sigma }^2}}}-\frac{\parallel \mathit{\mu }{\parallel }^2}{2{\sigma }^2}\end{array}$$

于是密度可以简写为：

$$\begin{array}{}\text{(2.4)}& \mathcal{N}(\mathbf{x})\propto \exp (\frac{{\mathit{\mu }}^{\mathrm{\top }}\mathbf{x}}{{\sigma }^2}-\frac{\parallel \mathbf{x}{\parallel }^2}{2{\sigma }^2})\end{array}$$

KeyPoint

${\mathit{\mu }}^{\mathrm{\top }}\mathbf{x}$ 衡量的是 $\mathbf{x}$ 在均值方向上的投影长度。这一项让密度沿着 $\mathit{\mu }$ 的方向增长；而 $-\parallel \mathbf{x}{\parallel }^2/(2{\sigma }^2)$ 把概率质量拉回原点附近，防止它跑到无穷远。

---

03 · 分布归一化到单位球面上

现在施加约束：所有数据点都落在单位球面上，即 $\mathbf{x}\in S^{p-1}$ ，满足 $\parallel \mathbf{x}\parallel =1$ 。

代入 $\parallel \mathbf{x}{\parallel }^2=1$ ，那个二次项立刻变成了常数：

$$\begin{array}{}\text{(3.1)}& -\frac{\parallel \mathbf{x}{\parallel }^2}{2{\sigma }^2}=-\frac{1}{2{\sigma }^2}=\text{常数}\end{array}$$

常数可以整体并入归一化因子。于是只剩下线性项：

$$\begin{array}{}\text{(3.2)}& f(\mathbf{x})\propto \exp \left(\frac{{\mathit{\mu }}^{\mathrm{\top }}\mathbf{x}}{{\sigma }^2}\right)\end{array}$$

把均值向量拆成方向与长度： $\mathit{\mu }=\parallel \mathit{\mu }\parallel \cdot \hat{\mathit{\mu }}$ ，其中 $\parallel \hat{\mathit{\mu }}\parallel =1$ 。则：

$$\begin{array}{}\text{(3.3)}& \frac{{\mathit{\mu }}^{\mathrm{\top }}\mathbf{x}}{{\sigma }^2}=\frac{\parallel \mathit{\mu }\parallel }{{\sigma }^2}{\hat{\mathit{\mu }}}^{\mathrm{\top }}\mathbf{x}=\kappa {\hat{\mathit{\mu }}}^{\mathrm{\top }}\mathbf{x}\end{array}$$

两个参数的物理含义
$\kappa =\parallel \mathit{\mu }\parallel /{\sigma }^2$ 称为浓度参数（concentration）——方差越小、均值越长，分布就越集中在 $\hat{\mathit{\mu }}$ 附近。
$\hat{\mathit{\mu }}$ 是平均方向，落在单位球面上。

至此我们已经"猜"出了 vMF 的函数形式：

$$\begin{array}{}\text{(3.4)}& f(\mathbf{x})\propto \exp \left(\kappa {\mathit{\mu }}^{\mathrm{\top }}\mathbf{x}\right)\end{array}$$

剩下的工作只有一件：算出归一化常数。

---

04 · von Mises–Fisher 分布

设 $\mathbf{x}\in S^{p-1}\subset {\mathbb{R}}^p$ ，平均方向 $\mathit{\mu }\in S^{p-1}$ ，浓度 $\kappa \ge 0$ ：

$$\begin{array}{}\text{(4.1)}& f(\mathbf{x};\mathit{\mu },\kappa )=C_p(\kappa )\exp \left(\kappa {\mathit{\mu }}^{\mathrm{\top }}\mathbf{x}\right)\end{array}$$

归一化常数由修正贝塞尔函数 $I_{\nu }$ 给出：

$$\begin{array}{}\text{(4.2)}& C_p(\kappa )=\frac{{\kappa }^{p/2-1}}{(2\pi {)}^{p/2}{I}_{p/2-1}(\kappa )}\end{array}$$

为什么是这个形式？

核心是计算这个积分。取 $\mathit{\mu }$ 指向北极，则 ${\mathit{\mu }}^{\mathrm{\top }}\mathbf{x}=\cos \theta$ ：

$$\begin{array}{}\text{(4.3)}& {\int }_{S^{p-1}}{e}^{\kappa {\mathit{\mu }}^{\mathrm{\top }}\mathbf{x}}d\sigma (\mathbf{x})={\mathrm{\Omega }}_{p-1}{\int }_0^{\pi }{e}^{\kappa \cos \theta }{\sin }^{p-2}\theta d\theta \end{array}$$

其中 ${\mathrm{\Omega }}_{p-1}=2{\pi }^{p/2}/\mathrm{\Gamma }(p/2)$ 是单位球面的总表面积。该积分有闭式解：

$$\begin{array}{}\text{(4.4)}& {\int }_{S^{p-1}}{e}^{\kappa {\mathit{\mu }}^{\mathrm{\top }}\mathbf{x}}d\sigma (\mathbf{x})=(2\pi {)}^{p/2}{\kappa }^{1-p/2}{I}_{p/2-1}(\kappa )\end{array}$$

取倒数，就得到了 $C_p(\kappa )$ 。 $◼$

最常用的特例： $p=3$

三维球面 $S^2$ 是可视化与工程中最常见的场景。用到半整数阶贝塞尔函数的初等表达式：

$$\begin{array}{}\text{(4.5)}& I_{1/2}(\kappa )=\sqrt{\frac{2}{\pi \kappa }}\sinh \kappa \end{array}$$

代入 $p=3$ ：

$$\begin{array}{}\text{(4.6)}& C_3(\kappa )=\frac{{\kappa }^{1/2}}{(2\pi {)}^{3/2}{I}_{1/2}(\kappa )}=\frac{\kappa }{4\pi \sinh \kappa }\end{array}$$

于是三维球面上的 vMF 密度非常干净：

$$\begin{array}{}\text{(4.7)}& f(\mathbf{x};\mathit{\mu },\kappa )=\frac{\kappa }{4\pi \sinh \kappa }\exp \left(\kappa {\mathit{\mu }}^{\mathrm{\top }}\mathbf{x}\right),\mathbf{x}\in S^2\end{array}$$

极限行为
$\kappa \to 0$ 时 $\sinh \kappa \approx \kappa$ ，于是 $C_3\to 1/(4\pi )$ ——恰好是球面上的均匀分布。
$\kappa \to \mathrm{\infty }$ 时密度坍缩为位于 $\mathit{\mu }$ 处的 Dirac $\delta$ 函数。

$S^2$ 上的 vMF 分布

S² 上的 vMF 分布

下方球面上的粒子服从 $\mathrm{vMF}(\mathit{\mu },\kappa )$ 。拖动球体可旋转视角；增大 $\kappa$ 观察粒子如何从均匀散布收拢成一个球冠；改变 ${\theta }_{\mu },{\varphi }_{\mu }$ 观察整个球冠如何迁移。

---

05 · 正态分布到球面的投影

知道了高斯和 vMF分布的定义。所以它们之间到底是怎么连起来的？

答案是：把高斯样本归一化到单位长度。设 $\mathbf{y}\sim \mathcal{N}(\mathit{\mu },{\sigma }^2\mathbf{I})$ 是 ${\mathbb{R}}^p$ 中的高斯向量，令

$$\begin{array}{}\text{(5.1)}& \mathbf{x}=\frac{\mathbf{y}}{\parallel \mathbf{y}\parallel }\in S^{p-1}\end{array}$$

则 $\mathbf{x}$ 服从的分布称为投影正态分布（projected normal），其密度为：

$$\begin{array}{}\text{(5.2)}& f(\mathbf{x};\mathit{\mu },{\sigma }^2)\propto {\int }_0^{\mathrm{\infty }}{r}^{p-1}\exp (-\frac{\parallel r\mathbf{x}-\mathit{\mu }{\parallel }^2}{2{\sigma }^2})dr\end{array}$$

把范数展开， $r$ 的依赖关系变得清晰：

$$\begin{array}{}\text{(5.3)}& \parallel r\mathbf{x}-\mathit{\mu }{\parallel }^2=r^2-2r({\mathit{\mu }}^{\mathrm{\top }}\mathbf{x})+\parallel \mathit{\mu }{\parallel }^2\end{array}$$

在各向同性的情形下（协方差为 ${\sigma }^2\mathbf{I}$ ），对 $r$ 积分后所有与 $\mathbf{x}$ 相关的部分只剩下 $\exp (\parallel \mathit{\mu }\parallel {\hat{\mathit{\mu }}}^{\mathrm{\top }}\mathbf{x}/{\sigma }^2)$ 。于是：

$$\begin{array}{}\text{(5.4)}& f(\mathbf{x};\mathit{\mu },{\sigma }^2)=f_{\mathrm{vMF}}(\mathbf{x};\hat{\mathit{\mu }},\kappa ),\kappa =\frac{\parallel \mathit{\mu }\parallel }{{\sigma }^2}\end{array}$$

核心结论
对各向同性高斯做径向归一化，得到的恰好是 vMF 分布。反过来，vMF 也可以看作"定义在球面上的各向同性高斯"。两个看似无关的分布，其实只差一次归一化。

几何直觉

想象 ${\mathbb{R}}^3$ 中一个以 $\mathit{\mu }$ 为中心的高斯云。现在把每个点沿着从原点出发的射线，滑到单位球面上——方向不变，只改半径。原本散布在空间中的云，就"糊"到了球面上，形成一团集中在 $\mathit{\mu }$ 方向的光斑。

云越瘦（ $\sigma$ 越小）、中心离原点越远（ $\parallel \mathit{\mu }\parallel$ 越大），光斑就越紧凑——这正是 $\kappa =\parallel \mathit{\mu }\parallel /{\sigma }^2$ 的含义。

高斯 → vMF 的连续过渡演示

高斯 → vMF 的连续过渡

初始状态（ $t=0$ ）是 ${\mathbb{R}}^3$ 中的各向同性高斯云，用琥珀色表示；拖动过渡滑块或打开自动播放，粒子会沿径向滑到球面上（ $t=1$ ），颜色也逐渐变为青色——那就是 vMF 分布。

拖动 $\sigma$ 滑块可以改变高斯的胖瘦，从而改变最终 vMF 的 $\kappa$ 。注意观察： $\sigma$ 越小，最终球面上的光斑越集中。

---

06 · 采样：Wood 算法

要在球面上生成服从 vMF 的点，关键是利用旋转不变性：先在 $z$ 轴方向采样，再整体旋转到 $\mathit{\mu }$ 。

第 1 步：采样极角余弦 $\omega =\cos \theta$

在 $S^2$ 上， $\omega$ 的边缘密度正比于 $e^{\kappa \omega }$ （面积元中的 $\sin \theta$ 因子在 $p=3$ 时恰好被抵消）。累计分布函数为：

$$\begin{array}{}\text{(6.1)}& F(\omega )=\frac{e^{\kappa \omega }-e^{-\kappa }}{e^{\kappa }-e^{-\kappa }}\end{array}$$

令 $F(\omega )=u$ ， $u\sim U(0,1)$ ，反解得到：

$$\begin{array}{}\text{(6.2)}& \omega =1+\frac{1}{\kappa }\ln (u+(1-u)e^{-2\kappa })\end{array}$$

数值稳定性
当 $\kappa$ 较大时，直接计算 $e^{2\kappa }$ 会溢出。上式把指数写成了 $e^{-2\kappa }$ ，在 $\kappa \to \mathrm{\infty }$ 时自动退化为 $\omega \approx 1+\ln (u)/\kappa$ ，全程无溢出。

第 2 步：采样方位角并组装

取 $\phi \sim U(0,2\pi )$ ，令 $s=\sqrt{1-{\omega }^2}$ ：

$$\begin{array}{}\text{(6.3)}& {\mathbf{x}}_0=(s\cos \phi ,s\sin \phi ,\omega )\end{array}$$

第 3 步：旋转到 $\mathit{\mu }$

构造一组以 $\mathit{\mu }$ 为第三轴的正交基 $({\mathbf{e}}_1,{\mathbf{e}}_2,\mathit{\mu })$ ，输出：

$$\begin{array}{}\text{(6.4)}& \mathbf{x}=x_{0,1}{\mathbf{e}}_1+x_{0,2}{\mathbf{e}}_2+x_{0,3}\mathit{\mu }\end{array}$$

---

07 · 重要性质与估计

均值合向量长度

vMF 的期望形式非常简洁——方向就是 $\mathit{\mu }$ ，长度只依赖 $\kappa$ ：

$$\begin{array}{}\text{(7.1)}& \mathbb{E}[\mathbf{x}]=A_p(\kappa )\mathit{\mu },A_p(\kappa )=\frac{I_{p/2}(\kappa )}{I_{p/2-1}(\kappa )}\end{array}$$

在 $p=3$ 时，它化为你可能见过的朗之万函数形式：

$$\begin{array}{}\text{(7.2)}& A_3(\kappa )=\coth \kappa -\frac{1}{\kappa }\end{array}$$

它从 $0$ 单调增长到 $1$ ： $\kappa =0$ 时方向完全随机， $\kappa \to \mathrm{\infty }$ 时所有点都指向 $\mathit{\mu }$ 。

参数总结

参数	取值	含义
$\mathit{\mu }$	$S^{p-1}$	平均方向，单位向量
$\kappa$	$[0,\mathrm{\infty })$	浓度；越大越集中
$\kappa =0$	—	球面上的均匀分布
$\kappa \to \mathrm{\infty }$	—	退化到点 $\mathit{\mu }$
$p=2$	—	圆周 vM 分布， $C_2=1/(2\pi I_0(\kappa ))$
$p=3$	—	$C_3=\kappa /(4\pi \sinh \kappa )$

最大似然估计

给定样本 $\{{\mathbf{x}}_1,\dots ,{\mathbf{x}}_n\}$ ，对数似然为：

$$\begin{array}{}\text{(7.3)}& \ell (\mathit{\mu },\kappa )=n\ln C_p(\kappa )+\kappa {\mathit{\mu }}^{\mathrm{\top }}\left(\sum _{i=1}^n{\mathbf{x}}_i\right)\end{array}$$

对 $\mathit{\mu }$ 求导立刻得到： $\hat{\mathit{\mu }}$ 就是样本合向量的方向，即

$$\begin{array}{}\text{(7.4)}& \hat{\mathit{\mu }}=\frac{\sum _i{\mathbf{x}}_i}{\Vert \sum _i{\mathbf{x}}_i\Vert }\end{array}$$

而 $\kappa$ 由方程 $A_p(\hat{\kappa })=\parallel \sum {\mathbf{x}}_i\parallel /n$ 隐式确定——没有闭式解，需要数值求解（牛顿法通常几轮就收敛）。

---

08 · Summary

$$\begin{array}{rl}& \text{各向同性高斯}\mathcal{N}(\mathbf{x};\mathit{\mu },{\sigma }^2\mathbf{I})\\ & \to \text{展开指数}\\ & \to \text{施加约束}\parallel \mathbf{x}\parallel =1\\ & \to \text{二次项变成常数}\\ & \to \text{只剩}\exp (\kappa {\mathit{\mu }}^{\mathrm{\top }}\mathbf{x})\\ & \to \text{补上球面归一化常数}\\ & \to \mathbf{\text{vMF 分布}}\end{array}$$

球面上的各向同性高斯（投影正态）与 vMF 是等价的。因为对球面上的点，高斯密度中的 $\parallel \mathbf{x}{\parallel }^2=1$ 是常数；投影正态的二次型 ${\mathbf{x}}^{\mathrm{\top }}{\mathrm{\Sigma }}^{-1}\mathbf{x}$ 在 $\mathrm{\Sigma }={\sigma }^2\mathbf{I}$ 时也退化成常数。两者给出完全相同的分布族。

这也解释了为什么 vMF 是方向统计中当之无愧的"高斯"：它简单、单峰、有共轭先验、有高效采样算法，并且在 $\kappa$ 的两个极端分别覆盖了均匀分布与确定性方向。

目录

1. 从高斯分布到 vMF 分布
   1. 01 · 一维高斯分布
      1. 一维高斯（密度曲线 + 实时采样）
   2. 02 · 多元各向同性高斯
      1. KeyPoint
   3. 03 · 分布归一化到单位球面上
   4. 04 · von Mises–Fisher 分布
      1. 为什么是这个形式？
      2. 最常用的特例： p=3
      3. S2 上的 vMF 分布
   5. 05 · 正态分布到球面的投影
      1. 几何直觉
      2. 高斯 → vMF 的连续过渡演示
   6. 06 · 采样：Wood 算法
      1. 第 1 步：采样极角余弦 ω=cos⁡θ
      2. 第 2 步：采样方位角并组装
      3. 第 3 步：旋转到 μ
   7. 07 · 重要性质与估计
      1. 均值合向量长度
      2. 参数总结
      3. 最大似然估计
   8. 08 · Summary