O que é Mecanismo de Atenção em Redes Neurais?

Do ponto de vista de um leigo simplificado, o Mecanismo de Atenção pode ser visto como um método para fazer o RNN funcionar melhor, permitindo que a rede saiba onde procurar enquanto realiza sua tarefa. Vamos caminhar através disto com três exemplos:

Task 1: traduzindo uma frase do inglês para o francês. Como visto no diagrama, os pontos brancos mostram onde a rede está "prestando atenção" enquanto tenta traduzir cada palavra. Especificamente, quando surgiu a palavra francesa "européenne", a rede estava olhando para a palavra inglesa "European"

Em um RNNN padrão sem atenção, a rede faria uma previsão meramente baseada nas palavras anteriores produzidas "L' accord sur la zone économique" e a palavra atual "Area". Mas não queremos a palavra "Area", uma vez que essa palavra já foi traduzida. Então a atenção diz que temos uma maior probabilidade de sucesso se olharmos para outro lugar.

Task 2: escrevendo uma legenda a partir de uma imagem. Desta vez, o mecanismo de atenção diz à rede aproximadamente a quais pixels prestar atenção ao escrever o texto.

Task 3: a atenção também pode ser usada para atender células de memória, como aquelas encontradas em Neural Turing Machines, Memory Networks, ou Pointer Networks. Desta vez, a atenção diz a um controlador qual memória pode ser mais útil naquele momento para responder à consulta. Todos eles voltam à mesma idéia de dizer à rede onde procurar para aumentar a probabilidade de encontrar a resposta certa.

Ultimamente, o mecanismo de atenção realiza um softmax em cada momento do RNN, para que o RNN possa tomar a melhor decisão que precisa naquele momento. Se você estava tentando copiar um número de telefone de um website para o seu telefone, você pode prestar atenção no código de área, depois nos próximos três números, e finalmente nos últimos quatro dígitos. A atenção nas redes neurais funciona de forma surpreendentemente semelhante!

Fonte de ajuda: Atenção e Redes Neurais Recorrentes Aumentadas