Por que no RGB o maior número para qualquer cor em particular é 255?

Não é. Valores RGB para profundidade de cor de 24bits fazem, mas essa não é a única opção lá fora.

Mais monitores que você verá hoje tem uma profundidade de cor de 24bits: isso é cada pixel pode mostrar até 2^24 (~16.7M) cores. Este valor de 24bits é separado em 3 canais, cada um representando ou Vermelho, Verde ou Azul (RGB). Porque 24/3= 8, cada um destes canais tem uma largura de 8bits. Ou seja, cada sub-pixel pode assumir 2^8 níveis diferentes de brilho, que realmente são 255 tons diferentes da cor específica do referido sub-pixel. Ou seja, o valor R em um valor RGB de 24 bits controla diretamente como o subpixel será brilhante para o pixel afetado na sua tela.

Dado que há apenas 8bits por canal, faz sentido que haja um limite de 255 por cor: você simplesmente não pode codificar um valor maior em um número de 8 bits (daí por que 255 corresponde ao brilho máximo).

Mas tudo o que eu falei se aplica à cor de 24 bits. Existem outros padrões lá fora. Por exemplo, você já deve ter ouvido falar em HDR de 10 bits antes. Isso diz respeito à profundidade de cor, com cada valor RGB sendo 30bits, portanto 10 bits por canal.

Com 10bits por canal RGB, você pode realmente ter valores subindo 1023.

Of course, ambos 10bit 1023 e 8bit 255 são os valores máximos para suas respectivas profundidades de cor. Ambos correspondem ao brilho máximo para um subpixel. Mas a cor 10bit oferece maior granularidade de cor porque existem simplesmente mais valores RGB.