Qual é a diferença entre a GPU para jogos e a GPU para programação de gráficos profissionais?

Eu gosto da resposta de Daniele, pois ela dá uma perspectiva geral.

Eu gostaria de responder do ponto de vista da arquitetura das placas nVidia.

nVidia tem 3 séries de placas - Tesla, Quadro e GeForce. A arquitetura Tesla (como é chamada a série de computação GPU) foi projetada a partir da perspectiva apenas de computação, e não de gráficos. Elas são usadas principalmente em comunidades científicas e institutos de pesquisa e aplicações comerciais onde se deseja alta performance e precisão. A série Quadro foi projetada para modelagem, como design de aeronaves/carros, modelagem gráfica 3D, fazendas de renderização de animação, grandes empresas VFX para seus efeitos especiais, e assim por diante. Comparada a isso, a série GeForce foi projetada apenas para uso do consumidor, principalmente jogos. Dito isto, as placas Tesla e Quadro são cerca de 4-5 vezes mais caras que as placas GeForce, pois ajudam a resolver alguns dos maiores problemas do mundo.

Aqui estão as maiores diferenças entre as séries Tesla & GeForce (em todos estes pontos estou assumindo o último modelo da GeForce - Titan 1080 vs Pascal P100 que eu chamo de Tesla):

1. Single vs Double-precision performance: Embora os cartões GeForce sejam rápidos em SP, eles não têm punção no desempenho do DP. Aqui é onde as cartas Tesla levam o bolo. Enquanto as cartas GeForce vão até 0.3 TFLOPS (Tera FLOPS), as cartas Tesla (P100) podem ir até 5.3 TFLOPS. Isso é um grande benefício já que a maioria da comunidade de pesquisa usa o DP para computação já que eles podem obter maior precisão.
2. Error correction: A correção de erros dificilmente é um problema para as placas GeForce, uma vez que o usuário não se importa com uma cor de pixel que vai mal aqui e ali em um frame. Mas isto não é aceitável em projetos de pesquisa e aplicações comerciais (imagine um erro em uma varredura de paciente propagando e levando a um falso diagnóstico pelo radiologista). Portanto, os cartões Tesla têm hardware embutido para lidar com a correção de erros nos cálculos de SP e eles dão avisos para os cálculos de DP. O manuseio ocorre em diferentes níveis de computação e armazenamento de dados.li>Memória: Algumas aplicações comerciais requerem uma grande quantidade de memória (como uma típica tomografia computadorizada pode ter 20 conjuntos, cada um com cerca de 0,7GB). Para a reconstrução disto, a GPU precisa ter cerca de 15GB de memória, caso contrário, a performance será afetada. Por este motivo, os cartões Tesla são construídos com memória muito maior - cerca de 24GB (para P100). Isto leva as empresas a usá-los para produtos mainstream, enquanto a GeForce tem cerca de 8-12GB de memória. Não pequena, mas Tesla ainda tem o que requer.>Largura de banda: transferências de dados PCI-E são lentas (cerca de 16GB/s). Isto não é suficiente para cálculos onde você precisa transferir dados grandes bem rápido, especialmente se você tem configuração multigpu. Então Tesla tem o NVLINK, que é uma transferência de dados intergpu que pode ir até 80GB/s. Se isto não estiver lá, as placas terão que transferir dados através da CPU, que é mais lenta. Dentro da GPU também, enquanto as placas GeForce podem ir até 480GB/s, as placas Tesla podem ir mais de 700GB/s para transferências intragpu).>li>Power: A série Tesla é projetada para servidores, e por isso a potência é uma parte importante do design, uma vez que elas têm rodado continuamente durante meses juntas. São cartões sem cabeça, o que significa que não suportam a exibição de saída para um monitor externo. O consumo de energia de um cartão Tesla é de 300W no máximo, o que é uma conquista considerando que estes são cartões de servidor. Comparado, GeForce 1080Ti consome cerca de 250W.

Existem muitas outras pequenas diferenças também, que diferenciam as duas séries. Em resumo, as pessoas que desejam fazer uma programação séria de computação devem optar pela série Tesla. Aqueles que não têm requisitos sérios de precisão (como trabalhos universitários, etc.) podem ir para a GeForce, já que isso também suportará CUDA completamente.