代价函数与输出单元

代价函数和输出单元的选择密切相关，两者都需要根据输出的分布确定。如何选择输出单元，要看预测值的分布，这跟指数族分布和广义线性回归中的结论一致。如何选择代价函数，大多数时候，可以简单地使用数据分布和模型分布间的交叉熵，这实际上等同于最大似然。本文的主要内容参考花书的第6章。

线性单元&均方误差

线性单元

$\hat {\boldsymbol y} =\boldsymbol W^T\boldsymbol h + \boldsymbol b$

对应损失函数为均方误差

$\begin{eqnarray*} Loss &=& \frac{1}{N} \sum^N_{i=1}(y_i-\hat y_i)^2 \\\\ &=&\frac{1}{N}||\boldsymbol y-\hat{\boldsymbol y}||^2_2 \end{eqnarray*}$

常用来预测高斯分布的均值

$\boldsymbol y|\boldsymbol x \sim N(\boldsymbol y;\hat{\boldsymbol y},\boldsymbol I)$

sigmoid单元

$\begin{eqnarray*} \hat y &=& \sigma (\boldsymbol W^T\boldsymbol h + \boldsymbol b) \\ \\ &=& \frac{ 1 }{ 1+e^{−(\boldsymbol W^T\boldsymbol h + \boldsymbol b)} } \end{eqnarray*}$

对应损失函数为交叉熵

$Loss = -\sum^N_{i=1}log\ y_i \hat y_i$

常用来预测Bernoulli分布的概率$p$

$y|\boldsymbol x\sim b(1,\hat y|\boldsymbol x)$

softmax单元

$\begin{eqnarray*} \hat {\boldsymbol y} &=& softmax(\boldsymbol z) \\ \\ softmax(\boldsymbol z)_k &=& \frac{exp(z_k)}{\sum_jexp(z_j)} \end{eqnarray*}$

对应损失函数为交叉熵

$loss = -\sum^N_{i=1}\sum^K_{k=1} y_{ik} log(\hat y_{ik})$

其中，N为样本个数，K为类别数。

用来预测Multinoulli分布的各个类别概率。