Que tipo de linguagem de programação devo saber para construir um site de vídeo sob demanda (como netflix, crackle, hulu, etc.)?

Python, C, ou Java. Existem servidores de streaming que você pode usar. Wowza é baseado em Java/JVM. Estou adicionando capacidades a ele no Scala (uma excelente linguagem JVM). Muito do resto do sistema está implementado em Python, e estamos começando a usar Go também.

FFmpeg é formato de vídeo e biblioteca de utilitários. Eu acho que está escrito em C. OpenCV é um conjunto de ferramentas de visão computacional que (novamente, eu acho) está escrito em C.

Que linguagem na maioria dos projetos não é uma questão isolada. Depende da linguagem que você conhece, qual é o resto do sistema escrito, qual é a infra-estrutura em que você está rodando, e a linguagem corresponde às suas necessidades? E, claro, que linguagem você quer aprender.

Quando eu olho para um projeto, eu começo com Clojure, Scala, Java, e depois Python. Essas são as linguagens em que eu quero trabalhar e acho que são as mais produtivas. Mas tenha em mente, qualquer coisa que você possa fazer em uma linguagem, você pode fazer em qualquer outra linguagem. Pode levar mais linhas de código, ou mais pensamentos, ou mais tempo, mas pode ser feito.