Translations:Neural Networks/18/zh
| 函數 | 公式 | 取值範圍 | 備註 |
|---|---|---|---|
| Sigmoid | $ \sigma(z) = \frac{1}{1+e^{-z}} $ | (0, 1) | 歷史上較為流行；存在梯度消失問題 |
| Tanh | $ \tanh(z) = \frac{e^z - e^{-z}}{e^z + e^{-z}} $ | (−1, 1) | 以零為中心；對較大輸入仍會飽和 |
| ReLU | $ \max(0, z) $ | [0, ∞) | 現代網絡的默認選擇；可能造成「死神經元」 |
| Leaky ReLU | $ \max(\alpha z, z) $（其中 $ \alpha > 0 $ 較小） | (−∞, ∞) | 解決了死神經元問題 |
| softmax | $ \frac{e^{z_i}}{\sum_j e^{z_j}} $ | (0, 1) | 用於多類別分類的輸出層 |