Por que a normalização de lotes ajuda? Artboard

Naturalmente, as redes neurais, incluindo as redes profundas, requerem uma afinação cuidadosa dos parâmetros de inicialização de peso e aprendizagem. A normalização de lotes ajuda a relaxá-los um pouco.

P>Problema de pesos:

ul><O que quer que seja a inicialização de pesos, seja aleatória ou empiricamente escolhida, eles estão longe dos pesos aprendidos. Considere um mini-batch, durante as épocas iniciais, haverá muitos outliers (pesos distantes dos requeridos) em termos de ativações de características requeridas.>li> A rede neural (profunda) por si só é mal posicionada, ou seja, uma pequena perturbação nas camadas iniciais, leva a uma grande mudança nas camadas posteriores.

Durante a propagação de volta, esses fenômenos causam distração para gradientes, ou seja, os gradientes têm que compensar os outliers, antes de aprender os pesos para produzir os resultados requeridos. Isto leva à necessidade de épocas extras para convergir.

A normalização do lote regulariza estes gradientes de distração para outliers e flui para o objetivo comum (normalizando-os) dentro de uma faixa do mini-lote. Resultando em aceleração do processo de aprendizagem.

Problema da taxa de aprendizagem:

Geralmente, as taxas de aprendizagem são mantidas pequenas, de modo que apenas uma pequena porção de gradientes corrige os pesos, a razão é que os gradientes para ativações outliers não devem afetar as ativações aprendidas. Pela normalização dos lotes, estas ativações outliers são reduzidas e, portanto, taxas de aprendizagem mais elevadas podem ser usadas para acelerar o processo de aprendizagem.