Que chave é utilizada na encriptação WhatsApp?

WhatsApp utiliza principalmente o Diffie-Hellman Key Exchange (os métodos que utilizam empregam). Algumas polvilhadas de AES, funções de hash em cima dela e boom! Aí tem a sua encriptação end-to-end.

Well, let's think about it intuitively. Você tem uma chave, que é compartilhada apenas entre você e seu contato. A mensagem é criptografada e descriptografada usando essa chave.

É precisamente isso que acontece no Diffie-Hellman Key Exchange. Como a chave é partilhada apenas consigo e com o seu amigo, o servidor WhatsApp não'não tem de se preocupar com as suas chaves (duvido dos servidores deles, mas tudo bem que'é algo para outro dia).

Pode ler mais sobre isso no white paper deles. [1]

1. Extra 

On the other hand, Quora has to care about the key, because it has to share information with you and millions of other people, and it's hard to have one key for each guy, encrypt and decrypt this answer on both ends. É aqui que a RSA entra em jogo.[2]

Footnotes

[1] https://www.whatsapp.com/security/WhatsApp-Security-Whitepaper.pdf[2] Siddh Raman Pant (सिद्ध रमन पन्त)'s resposta de Como funciona a decriptação da RSA?