[SkipInit] Batch Normalization Biases Deep Residual Networks Towards Shallow Paths
文章地址本文介绍了 BN 在很深的 Resnet 中起到的作用：通过正则化使得网络最大训练深度增加。同时提出了一个替代 BN 的方法。BN 在 Deep Resnet 中作用一个朴素的 CNN 如果太多层，就很难训练的动。Resnet 通过 shortcut 使得梯度更轻松的传播，在这里 BN 发挥了很大的作用：BN 限制了每次 Conv 后 feature map 的大小。有了 BN 和 sho