MAP

MAP最大化的是后验概率：$p(\boldsymbol \theta|\boldsymbol X)$，等同于在MLE的最大化的似然后面再乘先验：$p(\boldsymbol X|\boldsymbol \theta)p(\boldsymbol \theta)$。

最大后验概率

MLE求的是一组使似然函数最大的参数，即

$$\boldsymbol {\hat\theta}_{MLE}= \underset {\boldsymbol \theta}{argmax} \ p(\boldsymbol X;\boldsymbol \theta)$$

现在问题稍微复杂一点点，假如这个参数 $\boldsymbol \theta$给定了先验概率呢？比如说，在上面抛硬币的例子，假如我们的经验告诉我们，硬币一般都是匀称的，也就是 $\boldsymbol \theta =0.5$的可能性最大， $\boldsymbol \theta=0.2$ 的可能性比较小，那么参数该怎么估计呢？这就是MAP要考虑的问题。

给定后验的样本$\boldsymbol {X}$、$\boldsymbol {X}$符合的概率分布类型$p(\boldsymbol {X}|\boldsymbol \theta)$(函数形式已知，但参数$\boldsymbol \theta$未知) 、$\boldsymbol \theta$ 的先验概率$p(\boldsymbol \theta)$。MAP优化的是一个后验概率，即给定了观测值后使 $\boldsymbol \theta$ 概率最大：

$$\begin{eqnarray*} \boldsymbol {\hat\theta}_{MAP} &=&\underset {\boldsymbol \theta}{argmax} \ p(\boldsymbol \theta|\boldsymbol X) \\ \\ &=& \underset {\boldsymbol \theta}{argmax} \ \frac{p(\boldsymbol X|\boldsymbol \theta)p(\boldsymbol \theta)}{p(\boldsymbol X)} \\ \\ &=& \underset {\boldsymbol \theta}{argmax} \ p(\boldsymbol X|\boldsymbol \theta)p(\boldsymbol \theta) \end{eqnarray*}$$

这里的似然$p(\boldsymbol X|\boldsymbol \theta)$和MLE最大化的$P(\boldsymbol X;\boldsymbol \theta)$表示的是同一个东西，所以MAP最大化的是后验概率，等同于在MLE的最大化的似然后面再乘先验$p(\boldsymbol \theta)$。

求解

和MLE一样，取对数之后，令导数为0，来求解参数

$$\begin{eqnarray*} \boldsymbol {\hat\theta}_{MAP} &=& \underset {\boldsymbol \theta}{argmax} \ p(\boldsymbol X|\boldsymbol \theta)p(\boldsymbol \theta) \\ \\ &=& \underset {\boldsymbol \theta}{argmax} \ log \left ( \prod^{N_X}_{i=1} p(\boldsymbol x_i|\boldsymbol \theta)p(\boldsymbol \theta) \right ) \tag{取log} \\ \\ &=& \underset {\boldsymbol \theta}{argmax} \ \sum ^{N_X}_{i=1} \{log\ p(\boldsymbol x_i|\boldsymbol \theta)\} + log\ p(\boldsymbol \theta) \end{eqnarray*}$$

然后根据实际场景给出$p(\boldsymbol x_i|\boldsymbol \theta)$和先验$p(\boldsymbol \theta)$，然后令导数为0，求解。

​

相关阅读

最大似然估计