Translations:Gradient Descent/17/zh

    From Marovi AI

    全批量梯度下降计算精确的梯度,因此沿着平滑的轨迹向最小值前进。随机梯度下降使用单个样本来估计梯度,大幅减少了每的计算量,代价是轨迹更嘈杂。小批量梯度下降在两者之间取得平衡,是实践中最常见的选择,典型的批量大小介于 32 到 512 之间。