Batch norm

在同一channel，不同feature map上做归一化。BN的归一化效果依赖于batch size，在大batch size的情况下有良好的性能，然而如目标检测、视频处理等任务无法满足很大的batchszie的内存要求，通常batch size很小，仅为个位数，此时BN效果不佳。

Group norm

为了摆脱归一化对batch size的依赖，GN考虑在同一feature map上，将通道分为多个组，各组内做归一化。（layer norm，instance norm为GN的特例，LN为同一feature map，所有通道上做归一化；IN为同一feature map，同一通道上做归一化）。