Qual é a diferença entre 32 bit e 64 bit do sistema operacional Android?

A resposta não é específica para o Android, mas para qualquer Sistema Operacional (qualquer software em geral).

Em termos muito simples (não exatamente corretos), x-bit computing significa, a CPU pode em um ciclo pegar números de tamanho x-bit, operá-los e dar uma saída de tamanho x-bit.

Idealmente isso significa que se você tiver dois números de tamanho 50-bit, então uma CPU de 64 bits pode operar nele de uma só vez. CPUs de 32 bits terão que fazer isso em múltiplos ciclos (carry-over, salvar os bits mais de 32... como você faz carry-over matemático).

Segundamente, uma CPU só pode endereçar memória que pode ser definida por 2^x faixas de endereço. Assim 32 bit CPUs podem teoricamente endereçar um máximo de 2^32 (4GB) de RAM. CPUs de 64 bits podem endereçar muito mais.

Todas essas capacidades extras de uma CPU de 64 bits são aproveitadas somente quando rodamos um software que foi especificamente compilado para a arquitetura de 64 bits (Você sempre pode rodar SO/Apps de 32 bits em máquinas de 64 bits, e ele será executado como se o sistema fosse uma CPU de 32 bits).

NOTE: Isto é MUITO simplificado. Mas para mais detalhes, procure alguns livros de informática sobre arquitetura de computadores, e não o Quora idealmente ;)