Quão diferente é uma TPU da GPU?

Arquitecturalmente? Muito diferente. Uma GPU é um processador por direito próprio, apenas um optimizado para código numérico vectorizado; as GPUs são o sucessor espiritual dos clássicos supercomputadores Cray. Uma TPU é um coprocessador, não pode executar código por si só, toda a execução de código ocorre na CPU que apenas alimenta um fluxo de microoperações para a TPU (veja Um olhar detalhado sobre a primeira Unidade de Processamento de Tensor (TPU) do Google | Google Cloud Big Data and Machine Learning Blog | Google Cloud Platform).

Praticamente falando? A principal diferença é que as TPUs são mais baratas e utilizam muito menos energia, podendo assim concluir trabalhos de previsão realmente grandes mais baratos do que as GPUs, ou tornar mais simples a utilização da previsão num serviço de baixa latência. A geração atual de TPUs não é muito boa para redes de treinamento, elas estão mais focadas em executar previsões com elas após o treinamento; isto explica os resultados na resposta de Dave Salvator a esta pergunta.

Não há nenhuma razão em particular para uma TPU não poder executar algo além de um modelo TensorFlow, é que ninguém escreveu os compiladores para fazer isso ainda. Seria difícil, porque não é um processador completamente genérico, e algumas das restrições estranhas no TensorFlow estão lá para tornar as TPUs possíveis.

TPUs são um experimento bem sucedido do Google; o Google tenta muitas coisas malucas, e muitas delas não funcionam muito bem. As TPUs funcionam, mas não vão substituir as GPUs de cada aplicação, ou mesmo muitas aplicações. As TPUs estão focadas apenas no trabalho de aprendizagem da máquina.