O que é a média global do pooling?

http://arxiv.org/pdf/1312.4400.pdf>p> Em vez de adotar as tradicionais camadas totalmente conectadas para classificação na CNN, nós produzimos diretamente a média espacial dos mapas de características da última camada mlpconv como a confiança das categorias através de uma camada média global de pooling, e então o vetor resultante é alimentado para a camada softmax. Na CNN tradicional, é difícil interpretar como a informação de nível de categoria da camada de custo objetivo é passada de volta para a camada de convolução anterior devido às camadas totalmente conectadas que atuam como uma caixa preta no meio. Em contraste, o pooling global médio é mais significativo e interpretável, pois reforça a correspondência entre mapas de características e categorias, o que é possível através de uma modelagem local mais forte usando a micro rede. Além disso, as camadas totalmente conectadas são propensas a sobreajustamento e dependem fortemente da regularização de dropout [4] [5], enquanto o agrupamento global médio é em si mesmo um regularizador estrutural, o que impede nativamente o sobreajustamento para a estrutura global.

e

Neste artigo, propomos outra estratégia chamada agrupamento global médio para substituir as camadas tradicionais totalmente conectadas na CNN. A idéia é gerar um mapa de características para cada categoria correspondente da tarefa de classificação na última camada mlpconv. Em vez de adicionar camadas totalmente conectadas no topo dos mapas de características, tomamos a média de cada mapa de características, e o vector resultante é alimentado directamente na camada softmax. Uma vantagem do agrupamento médio global sobre as camadas totalmente conectadas é que ele é mais nativo da estrutura da convolução, impondo correspondências entre os mapas de características e as categorias. Assim, os mapas de características podem ser facilmente interpretados como mapas de confiança de categorias. Outra vantagem é que não há parâmetro para otimizar na média global do pooling, evitando-se assim o sobreajuste nesta camada. Além disso, o agrupamento da média global soma a informação espacial, assim é mais robusto para traduções espaciais da entrada.

Podemos ver o agrupamento da média global como um regularizador estrutural que impõe explicitamente que os mapas de características sejam mapas de confiança de conceitos (categorias). Isto é possível pelas camadas mlpconv, pois elas fazem uma melhor aproximação aos mapas de confiança do que as GLMs.

No caso da classificação com 10 categorias (CIFAR10, MNIST).

Significa que se você tem um tensor 3D 8,8,128 no final da sua última convolução, no método tradicional, você aplana em um vetor 1D de tamanho 8x8x128. E você então adiciona uma ou várias camadas totalmente conectadas e então no final, uma camada softmax que reduz o tamanho a 10 categorias de classificação e aplica o operador softmax.

A média global do pooling significa que você tem um tensor 3D 8,8,10 e calcula a média sobre as fatias 8,8, você termina com um tensor 3D de forma 1,1,10 que você reformula em um vetor 1D de forma 10. E então você adiciona um operador softmax sem qualquer operação no meio. O tensor antes do pooling médio é suposto ter tantos canais como o seu modelo tem categorias de classificação.

O papel não é claro, mas quando eles dizem "softmax layer" significam apenas operador softmax, não uma camada totalmente conneted com uma ativação softmax.

Não y=softmax(W*flatten(GAP(x))+b) mas y=softmax(flatten(GAP(x))).