https://marovi.ai/index.php?action=history&feed=atom&title=Searching_for_Activation_Functions%2Fpaper%2FesSearching for Activation Functions/paper/es - Revision history2026-04-27T17:00:46ZRevision history for this page on the wikiMediaWiki 1.39.1https://marovi.ai/index.php?title=Searching_for_Activation_Functions/paper/es&diff=12922&oldid=prevDeployBot: Batch translate Searching for Activation Functions/paper unit 1 → es2026-04-27T08:05:10Z<p>Batch translate Searching for Activation Functions/paper unit 1 → es</p>
<table style="background-color: #fff; color: #202122;" data-mw="interface">
<col class="diff-marker" />
<col class="diff-content" />
<col class="diff-marker" />
<col class="diff-content" />
<tr class="diff-title" lang="en">
<td colspan="2" style="background-color: #fff; color: #202122; text-align: center;">← Older revision</td>
<td colspan="2" style="background-color: #fff; color: #202122; text-align: center;">Revision as of 08:05, 27 April 2026</td>
</tr><tr><td colspan="2" class="diff-lineno" id="mw-diff-left-l276">Line 276:</td>
<td colspan="2" class="diff-lineno">Line 276:</td></tr>
<tr><td class="diff-marker"></td><td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>[[File:Arxiv_1710_05941_x7.png|423x276px|Ver pie de figura]]</div></td><td class="diff-marker"></td><td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>[[File:Arxiv_1710_05941_x7.png|423x276px|Ver pie de figura]]</div></td></tr>
<tr><td class="diff-marker"></td><td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><br/></td><td class="diff-marker"></td><td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><br/></td></tr>
<tr><td class="diff-marker" data-marker="−"></td><td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #ffe49c; vertical-align: top; white-space: pre-wrap;"><div>La diferencia más llamativa entre Swish y ReLU es la "protuberancia" no monótona de Swish cuando <math display="inline">x < 0</math>. Como se muestra en la Figura [[#S4.F7|7]], un gran porcentaje de las preactivaciones cae dentro del dominio de la protuberancia (<math display="inline">- 5 \leq x \leq 0)</math>, lo que indica que la protuberancia no monótona es un aspecto importante de Swish. La forma de la protuberancia puede controlarse cambiando el parámetro <math display="inline">\beta</math>. Aunque fijar <math display="inline">\beta = 1</math> es efectivo en la práctica, la sección de experimentos muestra que entrenar <math display="inline">\beta</math> puede mejorar <del style="font-weight: bold; text-decoration: none;">adicionalmente </del>el rendimiento en algunos modelos. La Figura [[#S4.F7|7]] <del style="font-weight: bold; text-decoration: none;">representa </del>la distribución de los valores entrenados de <math display="inline">\beta</math> de un modelo Mobile NASNet-A (Zoph et al., [[#bib.bib53|2017]]). Los valores entrenados de <math display="inline">\beta</math> se distribuyen entre <math display="inline">0</math> y <math display="inline">1.5</math> y tienen un pico en <math display="inline">\beta \approx 1</math>, lo que sugiere que el modelo aprovecha la flexibilidad adicional de los parámetros <math display="inline">\beta</math> entrenables.</div></td><td class="diff-marker" data-marker="+"></td><td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div>La diferencia más llamativa entre Swish y ReLU es la "protuberancia" no monótona de Swish cuando <math display="inline">x < 0</math>. Como se muestra en la Figura [[#S4.F7|7]], un gran porcentaje de las preactivaciones cae dentro del dominio de la protuberancia (<math display="inline">- 5 \leq x \leq 0)</math>, lo que indica que la protuberancia no monótona es un aspecto importante de Swish. La forma de la protuberancia puede controlarse cambiando el parámetro <math display="inline">\beta</math>. Aunque fijar <math display="inline">\beta = 1</math> es efectivo en la práctica, la sección de experimentos muestra que entrenar <math display="inline">\beta</math> puede mejorar <ins style="font-weight: bold; text-decoration: none;">aún más </ins>el rendimiento en algunos modelos. La Figura [[#S4.F7|7]] <ins style="font-weight: bold; text-decoration: none;">muestra </ins>la distribución de los valores entrenados de <math display="inline">\beta</math> de un modelo Mobile NASNet-A (Zoph et al., [[#bib.bib53|2017]]). Los valores entrenados de <math display="inline">\beta</math> se distribuyen entre <math display="inline">0</math> y <math display="inline">1.5</math> y tienen un pico en <math display="inline">\beta \approx 1</math>, lo que sugiere que el modelo aprovecha la flexibilidad adicional de los parámetros <math display="inline">\beta</math> entrenables.</div></td></tr>
<tr><td class="diff-marker"></td><td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><br/></td><td class="diff-marker"></td><td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><br/></td></tr>
<tr><td class="diff-marker"></td><td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>En la práctica, Swish puede implementarse con un cambio de una sola línea de código en la mayoría de las bibliotecas de aprendizaje profundo, como TensorFlow (Abadi et al., [[#bib.bib1|2016]]) (p. ej., <code>x * tf.sigmoid(beta * x)</code> o <code>tf.nn.swish(x)</code> si se utiliza una versión de TensorFlow publicada después de la entrega de este trabajo). Como advertencia, si se utiliza BatchNorm (Ioffe &amp; Szegedy, [[#bib.bib21|2015]]), debe establecerse el parámetro de escala. Algunas bibliotecas de alto nivel desactivan el parámetro de escala por defecto debido a que la función ReLU es lineal por tramos, pero esta configuración es incorrecta para Swish. Para entrenar redes Swish, encontramos que reducir ligeramente la tasa de aprendizaje utilizada para entrenar redes ReLU funciona bien.</div></td><td class="diff-marker"></td><td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>En la práctica, Swish puede implementarse con un cambio de una sola línea de código en la mayoría de las bibliotecas de aprendizaje profundo, como TensorFlow (Abadi et al., [[#bib.bib1|2016]]) (p. ej., <code>x * tf.sigmoid(beta * x)</code> o <code>tf.nn.swish(x)</code> si se utiliza una versión de TensorFlow publicada después de la entrega de este trabajo). Como advertencia, si se utiliza BatchNorm (Ioffe &amp; Szegedy, [[#bib.bib21|2015]]), debe establecerse el parámetro de escala. Algunas bibliotecas de alto nivel desactivan el parámetro de escala por defecto debido a que la función ReLU es lineal por tramos, pero esta configuración es incorrecta para Swish. Para entrenar redes Swish, encontramos que reducir ligeramente la tasa de aprendizaje utilizada para entrenar redes ReLU funciona bien.</div></td></tr>
</table>DeployBothttps://marovi.ai/index.php?title=Searching_for_Activation_Functions/paper/es&diff=12885&oldid=prevDeployBot: Batch translate Searching for Activation Functions/paper unit 68 → es2026-04-27T07:34:21Z<p>Batch translate Searching for Activation Functions/paper unit 68 → es</p>
<a href="https://marovi.ai/index.php?title=Searching_for_Activation_Functions/paper/es&diff=12885">Show changes</a>DeployBot