Translations:Searching for Activation Functions/22/zh

    From Marovi AI

    作为背景,作者指出,从 Inception-v3 到 Inception-ResNet-v2 整整一年的架构调整带来了 1.3% 的提升,因此通过一行激活函数替换所获得的收益在经济意义上是显著的。在 WMT 2014 英→德上训练的 12 层“Base Transformer”上,Swish-1 在四个 newstest 集合中也能匹配或超过每个基线,其中在 newstest2016 上获得最大提升(比次佳高 +0.6 BLEU)。