Como é que a RAM afecta o desempenho de um telefone Android?

Em uso normal, a RAM não tem qualquer impacto no desempenho...

...até que você se esgote. RAM é a memória que precisa ser capaz de lidar com gigabytes por segundo de leituras e gravações sem nenhum padrão. É um pouco cara, então a maioria dos sistemas não tem muito (4 GB é padrão para um smartphone, 8-16 para um computador - e esses números podem subir muito rapidamente com o tempo, desde a tecnologia).

Mass storage (SSD, HDD, flash, etc.) é memória que só precisa lidar com algumas centenas de megabytes por segundo, e na maioria das vezes em ordem. É muito mais barato, por isso muitos sistemas têm muito (64 GB é considerado um pouco baixo para computadores e smartphones; meu Pixel 2 XL tem 128 GB, e meu PC de jogos tem cerca de 3 TB = 3000 GB).

Quando você fica sem memória RAM, seu sistema começa a usar armazenamento em massa como RAM. De repente o seu sistema não consegue mover os dados suficientemente rápido, por isso fica mais lento.

Android frequentemente fecha os aplicativos de fundo (ou copia os aplicativos de fundo inteiramente para o armazenamento em massa e depois não mexe com eles por alguns segundos) para que os aplicativos que estão ativamente em uso possam ter memória RAM real, e nada de anormal acontece.

Por isso, a menos que qualquer aplicativo requeira uma determinada quantidade de memória RAM, não é tão importante assim. 4 GB é suficiente. Francamente, 2 GB é provavelmente viável (especialmente se o seu nome for Apple).