Qual é a diferença entre KB, MB, e GB?

Um factor de 1000 cada. Isso é o que K, M, G, T, etc. significa.

É o prefixo usado em todo o sistema de medição métrica para denotar um estenógrafo para grandes números. Chamado de prefixo SI. A maioria deles são fatores de 1000 do anterior: Prefixos SI -- da Wolfram MathWorld

O B nesses tendem a significar que a unidade de medida é Bytes. Ou seja, quanto espaço de armazenamento está disponível ou usado em um computador.

Desde que computadores não "contam" em 10s o fator 1000 é na verdade um número não redondo para um computador. Assim, em alguns casos, o número redondo correspondente mais próximo no sistema de contagem que um computador usa é considerado como significando essas coisas. Isso significa 2^10 = 1024. Isto tende a significar que algumas operações sobre estes números podem ser feitas mais rapidamente, o mesmo que multiplicar ou dividir por 10, 100 ou 1000 é muito fácil e simples em decimal (base 10), fazendo o mesmo com 2, 4, 8, 16, 32, 64, 128, 256, 512 ou 1024 é igualmente simples e fácil em binário (base 2).

Estritamente falando quando se faz isto deve haver um i afixado ao primeiro caractere. Por exemplo, KiB, MiB, GiB. Só para evitar confusão. Mas por vezes é omitido e assim mesmo o KB poderia de facto significar 1024 e não apenas 1000 bytes. Similar para MB poderia significar o mesmo que 1024KB e não 1000KB.