Em Vídeo Codecs, qual é a diferença entre h264 e x264?

Eu percebo que esta é uma pergunta antiga, mas acho que alguma clareza será boa para o registo.

H.264 é o padrão que define como os fluxos de vídeo devem ser codificados. Como parte dessa codificação, ele define entre outras coisas, como o vídeo deve ser compactado, como os planos de cores devem ser representados, etc. Um fluxo de vídeo codificado corretamente no formato H.264 deve ser reproduzido por todos os players que suportam o formato H.264.

x264 é um codificador que produz um fluxo de vídeo compatível com H.264. x264 é um codificador de altíssima qualidade e produz uma qualidade notável em fluxos de bits. É quase exclusivamente utilizado por todas as plataformas de vídeo de código aberto (como ffmpeg, gstreamer, handbrake etc.)

Em mais de uma forma, é um dos melhores codificadores H.264 disponíveis (além disso, é gratuito!). Existem outros codificadores que você pode comprar, mas além do suporte comercial, seus benefícios são marginais. x264 produz consistentemente melhor qualidade de saída na prática e em todos os testes. (Confira este link para um teste completo: Oitava Comparação de Codecs de Vídeo MPEG-4 AVC/H.264 - Versão Padrão)