Quais codecs de vídeo são melhores para compressão?

A resposta curta à sua pergunta é, para compressão geral, Daala, VP9, ou HEVC, a partir de 2016.

[Edit: é 2019 agora, e AV1 é provavelmente a melhor opção. É um codec aberto, livre de royalties e de rápida aceitação, mantido pela Alliance for Open Media - uma espécie de fusão dos codecs VP10, Daala, e Thor, incorporando idéias de cada um. O resto desta resposta é mantida em perspectiva.]

A quantidade de compressão, a um determinado nível de qualidade (como percebido pelos humanos), é o principal critério sobre o qual os codecs de vídeo são julgados. Existem vários métodos para estimar a percepção da distorção do vídeo, como PSNR e SSIM, e assim a restrição de qualidade pode ser um pouco imprecisa. Além disso, alguns codecs competem melhor em um cenário de baixa qualidade/alta-compressão, e alguns se saem melhor em um cenário de alta/baixa compressão. Além disso, codecs diferentes sacrificam a qualidade de diferentes maneiras. Por estas razões, e porque o desenvolvimento de codecs é uma área ativa de pesquisa e competição, não pode haver uma única resposta indiscutível.

No entanto, um tema geral é que codecs mais recentes alcançam melhor compressão.

Vídeo sem compressão armazenaria, digamos, 24 bits (8 vermelhos, 8 verdes e 8 azuis) para cada pixel em uma imagem, então um vídeo de 720p a 30fps com duração de 1 hora exigiria uma enorme quantidade de espaço - cerca de 300 GB. Isso é apenas o vídeo, sem áudio, indexação ou outra embalagem.

A linha de padrões MPEG oferece uma história ilustrativa. Quando os DVDs saíram pela primeira vez, a tecnologia de compressão tinha progredido o suficiente para que eles conseguissem comprimir aqueles 24 bpp a 0.4 bpp, com qualidade razoável, usando MPEG-2, o que era muito bom na época. Assim, esse mesmo vídeo só levaria cerca de 5GB em vez de 300GB. Anos mais tarde, o H.264 tinha se tornado prática aceita, e taxas de compressão consistente de 0.2 bpp ou melhor (com alta qualidade) eram a norma. Hoje em dia, o HEVC (aka H.265 ou MPEG-H) está gradualmente ganhando força no mercado, e oferece uma série de inovações que permitem vídeo de boa qualidade com apenas 0,1 bpp. Este é um nível de compressão com o qual nem o H.264 consegue competir. OTOH, suporte a H.264 é onipresente.

Mas a linha de padrões MPEG não é a única opção.

On2 Technologies (adquirida pelo Google) tem uma linha de codecs (VP2..VP9) com desempenho competitivo. VP8 e VP9 são populares na web (veja WEBM) e podem ser usados sem royalties (ao contrário do HEVC, que tem termos de licenciamento ainda mais caros e complicados que o H.264), embora seja um sistema de licenciamento cruzado pelo qual você usa as patentes do Google gratuitamente em troca de não processá-las por patentes. VP9 tem menos demanda computacional na decodificação (reprodução), mas pode ser mais caro durante a codificação, embora os chipsets x86 e ARM modernos tenham suporte para aceleração de hardware tanto do VP9 quanto do HEVC.

Se você está procurando algo completamente livre e aberto (por exemplo, você está trabalhando em um sistema operacional distribuído livremente como o Linux e não tem permissão legal para incluir software com patente), o Xiph.org tem toda uma linha de codecs, dos quais a oferta mais recente e de maior desempenho é Daala. Ele tem o objetivo explícito de vencer o HEVC usando técnicas de compressão de vídeo padrão - um objetivo no qual ele parece ter feito bem. Existe também o codec Dirac, também livre como em liberdade, que tem o apoio da BBC, e procura reinventar a compressão de vídeo usando novos métodos.

Estas são apenas as minhas opiniões pessoais sobre as iniciativas de maior perfil, mas existem muitas.