Translations:Neural Networks/18/zh
| 函数 | 公式 | 取值范围 | 备注 |
|---|---|---|---|
| Sigmoid | $ \sigma(z) = \frac{1}{1+e^{-z}} $ | (0, 1) | 历史上较为流行；存在梯度消失问题 |
| Tanh | $ \tanh(z) = \frac{e^z - e^{-z}}{e^z + e^{-z}} $ | (−1, 1) | 以零为中心；对较大输入仍会饱和 |
| ReLU | $ \max(0, z) $ | [0, ∞) | 现代网络的默认选择；可能造成“死神经元” |
| Leaky ReLU | $ \max(\alpha z, z) $（其中 $ \alpha > 0 $ 较小） | (−∞, ∞) | 解决了死神经元问题 |
| softmax | $ \frac{e^{z_i}}{\sum_j e^{z_j}} $ | (0, 1) | 用于多类别分类的输出层 |