EM 算法与高斯混合模型 (GMM)

核心思想

EM (Expectation-Maximization) 是一种用于含隐变量的概率模型的参数估计迭代算法。GMM 是 EM 最经典的应用：用多个高斯分布的加权和来建模数据分布。

高斯混合模型

模型定义

$$p(\mathbf{x})=\sum _{k=1}^K{\pi }_k\mathcal{N}(\mathbf{x}\mid {\mathit{\mu }}_k,{\mathbf{\Sigma }}_k)$$

• ${\pi }_k$：第 $k$ 个高斯的混合系数，$\sum _k{\pi }_k=1$，${\pi }_k\ge 0$
• $\mathcal{N}(\mathbf{x}\mid {\mathit{\mu }}_k,{\mathbf{\Sigma }}_k)$：多元高斯密度

$$\mathcal{N}(\mathbf{x}\mid \mathit{\mu },\mathbf{\Sigma })=\frac{1}{(2\pi {)}^{d/2}|\mathbf{\Sigma }{|}^{1/2}}\exp (-\frac{1}{2}(\mathbf{x}-\mathit{\mu }{)}^T{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathit{\mu }))$$

隐变量

引入隐变量 $z_i\in \{1,\dots ,K\}$ 表示样本 ${\mathbf{x}}_i$ 来自哪个分量。

为什么不能直接 MLE？

对数似然：

$$\ln L=\sum _{i=1}^N\ln [\sum _{k=1}^K{\pi }_k\mathcal{N}({\mathbf{x}}_i\mid {\mathit{\mu }}_k,{\mathbf{\Sigma }}_k)]$$

对数内有求和，无法分解，直接求导没有闭式解。

EM 算法的理论基础

Jensen 不等式

对于凹函数 $\ln$：

$$\ln \left(\sum _k{q}_k\frac{p_k}{q_k}\right)\ge \sum _k{q}_k\ln \frac{p_k}{q_k}$$

构造对数似然的下界 (ELBO)，EM 通过交替最大化下界来逼近似然极大值。

ELBO (Evidence Lower Bound)

$$\ln L\ge \sum _{i=1}^N\sum _{k=1}^K{\gamma }_{ik}\ln \frac{{\pi }_k\mathcal{N}({\mathbf{x}}_i\mid {\mathit{\mu }}_k,{\mathbf{\Sigma }}_k)}{{\gamma }_{ik}}=\text{ELBO}$$

当 ${\gamma }_{ik}=P(z_i=k\mid {\mathbf{x}}_i)$（后验概率）时，下界取等号。

E 步 (Expectation)

计算隐变量的后验概率（责任度）：

$${\gamma }_{ik}=\frac{{\pi }_k\mathcal{N}({\mathbf{x}}_i\mid {\mathit{\mu }}_k,{\mathbf{\Sigma }}_k)}{\sum _{j=1}^K{\pi }_j\mathcal{N}({\mathbf{x}}_i\mid {\mathit{\mu }}_j,{\mathbf{\Sigma }}_j)}$$

M 步 (Maximization)

利用 ${\gamma }_{ik}$ 更新参数：

$$N_k=\sum _{i=1}^N{\gamma }_{ik}$$$${\mathit{\mu }}_k^{\text{new}}=\frac{1}{N_k}\sum _{i=1}^N{\gamma }_{ik}{\mathbf{x}}_i$$$${\mathbf{\Sigma }}_k^{\text{new}}=\frac{1}{N_k}\sum _{i=1}^N{\gamma }_{ik}({\mathbf{x}}_i-{\mathit{\mu }}_k^{\text{new}})({\mathbf{x}}_i-{\mathit{\mu }}_k^{\text{new}}{)}^T$$$${\pi }_k^{\text{new}}=\frac{N_k}{N}$$

收敛性

每次迭代 $\ln L$ 单调不减。EM 算法收敛到局部极大值（不保证全局最优）。

代码对应

python -m pipelines.probabilistic.em