重点

• BN提高特征对图像内容的敏感度，降低对风格类变化的鲁棒性
• IN提高对风格类变化的鲁棒性
• 浅层特征和风格类相关，深层和高层次特征相关（人脸，姿态等内容类特征）

参考

Two at Once: Enhancing Learning and Generalization Capacities via IBN-Net

简介

Instance Normalization在样式迁移领域取得比Batch Normailzation更好的效果，但是在识别分类领域中没有带来提升。本文研究了IN和BN的区别，并成功把二者应用到同一个框架中，提高识别分类的准确度，而且结果分类器还具备了更强的迁移能力，对色调变化，明暗变化，甚至虚拟和显示都有较高鲁棒性，state-of-art的一个框架

上图第一行，左侧是真实交通场景，右侧是游戏GTA场景，利用IN结合BN，可以让分类器在二者之间迁移

思路

首先考虑BN和IN的定义， BN是增加样本间的差异，IN是提高对亮度，色调变化的鲁棒性。

用resnet50，分别在两对样本集上训练，横坐标是层的索引，纵坐标是特征差异（论文最后有对特征差异的定义，高斯+KL散度）。蓝色柱状图是resnet50在Imagenet和其对应的monet版本，二者最大的差异是颜色，亮度等风格类特征,内容差异不大，结果蓝色柱状图浅层特征差异大，深层特征差异小；橘色柱状图是reset50分别在两个类别不同集合上训练的对比结果，集合的内容差异很大，但风格类特征差异不大，结果两个模型浅层特征差异小，深层特征差异大。所以只有BN的resnet50网络，浅层特征和风格有关，深层和内容有关。
IN在风格迁移领域得到广泛应用，因为它提高特征对风格类特征的鲁棒性，论文就是希望提供一个网络，即保持对内容的敏感度，又对风格类特征又较高鲁棒性。 对此论文中提出的两个准则
1. IN只添加到浅层网络，不添加到深层网络。
因为IN提取的特征降低了样本间差异，不能放在深层影响分类效果
2. 浅层BN层也要保留,保证内容相关信息可以顺利被传入深层
之后作者基于这两个准则，提出若干网络定义，一一对比测试。
注意IBN-Net的思路可以和很多现有的网络结合，提高网络的性能和迁移能力。IBN-Net提高迁移能力是因为保持内容特征的同时，降低特征对风格类特征的鲁棒性。另外即使是同个样本集合，比如imagenet，其内部不仅仅是内容差异，也是有风格类差异的，所以IBN-Net不仅仅提高网络迁移能力，也提高网络在同一个数据集上的性能。

# 实验数据

这个表显示了IBN-Net的迁移能力，注意指标是error，越小越好

这个表显示了IBN-Net对不同现有网络的提升效果，同样指标是error，越小越好

转载自原文链接, 如需删除请联系管理员。

原文链接：IBN-Net，转载请注明来源！