Que tipos de coisas o Netflix A/B testa, além da inscrição de membros?

Neil tem uma resposta muito boa acima, mas eu pensei em I'd adicionar um exemplo mais concreto para aqueles que adoram aprender sobre as especificidades. Recentemente Anna Blaylock (Designer de Produto @Netflix (produto)) compartilhou um teste A/B incrivelmente surpreendente que eles'd ran:

"Por que não consigo navegar pelos títulos antes de me inscrever na Netflix?"

É um sentimento que muitos visitantes da Netflix expressaram em um ponto ou outro. De facto, 46% dos visitantes inquiridos disseram que disponibilizar títulos de conteúdo Netflix para navegar era a única coisa que queriam saber antes de se inscreverem.

Parece lógico, certo? Os usuários querem saber no que eles'estão se metendo, bem como quais seriam os benefícios de comercializar suas informações.

Então, a equipe foi em frente e projetou uma série de testes sobre as seguintes hipóteses:

Se os usuários podem navegar pelos títulos de conteúdo antes de se cadastrar, isso aumentará o número de usuários que se cadastram.

Então, a equipe criou 5 variantes para testar o original contra. Todas as variantes tinham diferentes graus de pesquisabilidade de conteúdo para que os usuários pudessem ter uma idéia do valor do Netflix's.

Após uma série de 5 testes, houve um claro vencedor: o original.... espera o quê?

Enquanto os usuários afirmam que querem ver os títulos do conteúdo antes de se inscreverem, os dados mostram que os usuários que vêem os títulos estavam se convertendo a taxas mais baixas.

A equipe aprendeu muito com este teste e os seguintes debriefs:

1. Netflix é tudo sobre a experiência. É' não se trata apenas de ter os melhores títulos. Em vez disso, os utilizadores têm de experimentar a ausência de costura de ter sugestões personalizadas a aparecer, ou ter o autoplay a puxá-lo para outro episódio de ~40 min de Daredevil.

2. O aumento das opções deu demasiada escolha. O original só tinha uma escolha: Começar o seu mês livre. Blaylock diz que a baixa barreira à entrada supera a necessidade dos utilizadores verem todo o seu conteúdo antes de se inscreverem.

3. Os utilizadores não'nem sempre sabem o que querem. Apesar dos dados da pesquisa lhes dizerem que os usuários eram muito falantes sobre os títulos de navegação, os dados provaram claramente o contrário. Se o Netflix não tivesse't testado suas hipóteses, a implementação provavelmente teria custado a eles usuários e muito tempo para corrigir seu erro.

Para um resumo completo, detalhes sobre o teste, e muitos outros estudos de caso como este, confira o writeup que eu fiz aqui: Os Resultados do Teste de Registro Netflix Nunca Esperados