Translations:Gradient Descent/17/zh

    From Marovi AI

    完整批量梯度下降计算精确的梯度,因此沿着平滑的轨迹趋近最小值。随机梯度下降 使用单个样本估计梯度,大幅减少每步的计算量,但代价是轨迹更加嘈杂。小批量梯度下降取得了平衡,是实践中最常见的选择,典型的批量大小在 32 到 512 之间。