[SkipInit] Batch Normalization Biases Deep Residual Networks Towards Shallow Paths

文章地址本文介绍了 BN 在很深的 Resnet 中起到的作用:通过正则化使得网络最大训练深度增加。同时提出了一个替代 BN 的方法。BN 在 Deep Resnet 中作用一个朴素的 CNN 如果太多层,就很难训练的动。Resnet 通过 shortcut 使得梯度更轻松的传播,在这里 BN 发挥了很大的作用:BN 限制了每次 Conv 后 feature map 的大小。有了 BN 和 sho

- 阅读全文 -

[L3Fnet] Harnessing Multi-View Perspective of Light Fields for Low-Light Imaging

文章地址本文贡献:发布低光照光场图片数据集:Low-Light Light Field (L3F)。提出了一种新的网络 L3Fnet 解决光场图片的低光恢复任务。Low-Light Light Field Dataset光场相机没有遥控快门,所以就很原始的固定机位手动按快门拍摄,像素会不可避免的对不齐。数据集采集方法是:在傍晚同一场景下,使用正常曝光,$1/20$ 的正常曝光,$1/50$ 的正常

- 阅读全文 -

[Distillation] Relational Knowledge Distillation

文章地址在以往的知识蒸馏中,我们要求 teacher 和 student 的 feature 或者 logits 直接数值上的靠近。但是由于 teacher 和 student 网络的差异,直接使用数值上的靠近可能对 student 比较困难。Method本文提出的方法是,蒸馏 teacher 和 student 之间 feature 的分布,而忽略数值上的一一对应,从而具有更好的灵活性。RKD

- 阅读全文 -

[Sublinear Memory][LocalConv] MegEngine 好处都有啥?谁说对了就给他

旷视最近开源了深度学习框架 MegEngine。众所周知,MegDL 一直是贵司的核心技术(大坑)。快速高效,安全可控,灵活定制一直是 MegDL 的核心。老矿工肯定熟悉下面的画面,这是 MegDL 的官方文档主页:可以从上面的截图就能非常明显的看出,要简单概括 MegDL,那就是“糙、快、猛”……文档不全,天坑很多,为了业务 xjb 改的地方非常非常多……所以开源其实是一件好事,至少能整理一下代

- 阅读全文 -

[D2AE] Exploring Disentangled Feature Representation Beyond Face Identification

文章地址本文通过通过两个 branch,在不同区域的网络用了不同的 loss 监督,分离了人脸中与 ID 有关和与 ID 无关的 feature。编码器解码器结构使得整个网络是端到端的,同时也能手动调整 feature,使用解码器重建修改后的人脸图像。Pipeline如 Fig 2. $E_{\theta_{enc}}$ 是编码器,$E_{\theta_{dec}}$ 是解码器,保证了网络是端到端

- 阅读全文 -