View source for Cross-Entropy Loss/zh

<languages />
{{ArticleInfobox | topic_area = Machine Learning | difficulty = Intermediate | prerequisites = [[Loss Functions]], [[Softmax Function]]}}
{{ContentMeta | generated_by = claude-opus | model_used = claude-opus-4-6 | generated_date = 2026-03-13}}

'''交叉熵损失'''（也称为'''对数损失'''）是机器学习分类任务中使用最广泛的{{Term|loss function|损失函数}}。它根植于{{Term|information theory|信息论}}，衡量真实标签分布与模型预测概率分布之间的差异，提供一个平滑、可微的目标，驱动概率分类器做出自信且正确的预测。

== 信息论基础 ==

=== 熵 ===

离散概率分布 <math>p</math> 的'''熵'''量化其不确定性：

:<math>H(p) = -\sum_{k=1}^{K} p_k \log p_k</math>

对于确定性分布（{{Term|one-hot encoding|独热}}标签），<math>H(p) = 0</math>。当所有结果等概率时，熵达到最大。

=== KL 散度 ===

'''Kullback-Leibler 散度'''衡量一个分布 <math>q</math> 与参考分布 <math>p</math> 之间的差异：

:<math>D_{\mathrm{KL}}(p \,\|\, q) = \sum_{k=1}^{K} p_k \log \frac{p_k}{q_k}</math>

KL 散度是非负的，并且当且仅当 <math>p = q</math> 时等于零。

=== 交叉熵 ===

分布 <math>p</math>（真实）与 <math>q</math>（预测）之间的'''交叉熵'''为：

:<math>H(p, q) = -\sum_{k=1}^{K} p_k \log q_k = H(p) + D_{\mathrm{KL}}(p \,\|\, q)</math>

由于 <math>H(p)</math> 相对于模型参数是常数，最小化交叉熵等价于最小化 KL 散度——即使预测分布 <math>q</math> 尽可能接近真实分布 <math>p</math>。

== 二元交叉熵 ==

对于二元分类，真实标签 <math>y \in \{0, 1\}</math>，预测概率 <math>\hat{y} = \sigma(z)</math>（其中 <math>\sigma</math> 是 [[Softmax Function|sigmoid 函数]]）：

:<math>\mathcal{L}_{\mathrm{BCE}} = -\bigl[y \log \hat{y} + (1 - y) \log(1 - \hat{y})\bigr]</math>

在包含 <math>N</math> 个样本的数据集上：

:<math>\mathcal{L} = -\frac{1}{N} \sum_{i=1}^{N} \bigl[y_i \log \hat{y}_i + (1 - y_i) \log(1 - \hat{y}_i)\bigr]</math>

关于{{Term|logits|logit}} <math>z</math>的梯度具有优雅简洁的形式 <math>\hat{y} - y</math>，既直观又计算高效。

== 分类交叉熵 ==

对于具有<math>K</math>个类别的多分类问题，真实标签通常是一个{{Term|one-hot encoding|独热}}向量<math>\mathbf{y}</math>，其中正确类别<math>c</math>对应<math>y_c = 1</math>。预测概率<math>\hat{\mathbf{y}}</math>通过[[Softmax Function]]获得：

:<math>\mathcal{L}_{\mathrm{CE}} = -\sum_{k=1}^{K} y_k \log \hat{y}_k = -\log \hat{y}_c</math>

这简化为正确类别的负对数概率，这就是为什么在此情境下分类交叉熵也被称为'''负对数似然'''（negative log-likelihood）。

== 数值稳定性 ==

=== Log-Sum-Exp 技巧 ===

直接计算<math>\log(\mathrm{softmax}(z_k))</math>需要对可能较大的{{Term|logits}}取指数，导致数值上溢。'''log-sum-exp'''技巧可以避免此问题：

:<math>\log \hat{y}_k = z_k - \log \sum_{j=1}^{K} e^{z_j} = z_k - \left(m + \log \sum_{j=1}^{K} e^{z_j - m}\right)</math>

其中<math>m = \max_j z_j</math>。减去最大{{Term|logits|logit}}可确保最大指数为零，从而防止上溢。所有主流的{{Term|deep learning|深度学习}}框架都实现了这一融合操作（例如，PyTorch的<code>CrossEntropyLoss</code>接受原始{{Term|logits}}）。

=== 截断（Clamping） ===

预测概率应当从精确的 0 和 1 处截断开，以避免 <math>\log(0) = -\infty</math>。通常使用一个较小的 epsilon（例如 <math>10^{-7}</math>）。

== 标签平滑 ==

'''标签平滑'''（Szegedy 等人，2016）将硬{{Term|one-hot encoding|独热}}目标替换为软分布：

:<math>y_k^{\mathrm{smooth}} = (1 - \alpha)\, y_k + \frac{\alpha}{K}</math>

其中<math>\alpha</math>是一个小常数（通常为0.1）。这可防止模型过度自信，改善校准，通常能带来更好的泛化能力。在训练大型图像分类器和{{Term|transformer}}模型时已是标准做法。

== 与其他损失函数的比较 ==

{| class="wikitable"
|-
! 损失 !! 公式 !! 典型用途
|-
| '''交叉熵''' || <math>-\sum y_k \log \hat{y}_k</math> || 分类
|-
| '''均方误差''' || <math>\frac{1}{K}\sum(y_k - \hat{y}_k)^2</math> || 回归（不适用于分类）
|-
| '''Hinge loss''' || <math>\max(0, 1 - y \cdot z)</math> || SVM 类型的分类
|-
| '''Focal loss''' || <math>-(1-\hat{y}_c)^\gamma \log \hat{y}_c</math> || 不平衡分类
|}

当预测自信地出错时，交叉熵的梯度比 MSE 更陡峭，从而能够更快地纠正较大的错误。

== 参见 ==

* [[Loss Functions]]
* [[Softmax Function]]
* [[Logistic regression]]
* [[Information theory]]
* [[Neural Networks]]

== 参考文献 ==

* Shannon, C. E. (1948). "A Mathematical Theory of Communication". ''Bell System Technical Journal''.
* Goodfellow, I., Bengio, Y. and Courville, A. (2016). ''Deep Learning''. MIT Press, 第6章.
* Szegedy, C. et al. (2016). "Rethinking the Inception Architecture for Computer Vision". ''CVPR''.
* Lin, T.-Y. et al. (2017). "Focal Loss for Dense Object Detection". ''ICCV''.

[[Category:Machine Learning]]
[[Category:Intermediate]]