Como funciona o modelo CNN-LSTM?

Em primeiro lugar, deixe-me explicar porque o modelo CNN-LSTM é necessário e a motivação para ele.

CNNs são usadas em problemas de modelagem relacionados a entradas espaciais como imagens. As CNNs têm sido bem sucedidas em tarefas relacionadas a imagens como visão computacional, classificação de imagens, detecção de objetos etc.

LSTMs são usadas em tarefas de modelagem relacionadas a seqüências e fazem previsões baseadas nelas. As LSTMs são amplamente utilizadas em tarefas relacionadas a PNL como tradução automática, classificação de frases, geração.

LSTMs padrão (Vanilla LSTM) não podem ser utilizadas diretamente em seqüências onde a entrada é espacial. Assim, para executar tarefas que necessitam de sequências de imagens para prever algo, precisamos de um modelo mais sofisticado. É aí que entra o modelo CNN-LSTM.

O CNN Long ShortTerm Memory Network ( CNN-LSTM ) é uma arquitetura LSTM projetada especificamente para problemas de previsão de seqüências com entradas espaciais, como imagens ou vídeos.

Arquitectura

A arquitectura CNN-LSTM envolve o uso de camadas Convolutional Neural Network (CNN) para extracção de características nos dados de entrada combinados com LSTMs para suportar a previsão de sequências.

A imagem acima descreve como um modelo CNN-LSTM geral funciona. CNN-LSTMs são geralmente usadas quando suas entradas têm estrutura espacial em suas entradas como a estrutura 2D ou pixels em uma imagem ou a estrutura 1D de palavras em uma frase, parágrafo ou documento e também têm uma estrutura temporal em suas entradas como a ordem das imagens em um vídeo ou palavras em um texto, ou requerem a geração de saída com estrutura temporal como palavras em uma descrição textual.

São amplamente utilizados em tarefas similares ao Reconhecimento de Atividades, Descrição de Imagens, Descrição de Vídeo etc.

Existe um exemplo em keras repo keras-team/keras que treina uma rede neural convolucional recorrente no conjunto de dados imdb.

Espera que isto ajude :)