Quanto tempo de armazenamento grátis você ganha com o Firebase?

No mês passado, a ExtremeTech revelou-lhe a verdadeira escala da pornografia na internet. A qualquer momento, o streaming de vídeos adultos utiliza provavelmente cerca de 30% da largura de banda total da Internet, o que equivale a cerca de 6 terabytes de pornografia a ser consumida a cada segundo. Mas e os outros 70%? Netflix, YouTube e outros sites de vídeo não adultos são porcos com uma enorme largura de banda, possivelmente respondendo por até 40% do tráfego da internet. Os armários de arquivos digitais, como Rapidshare e Megaupload, são responsáveis por cerca de 10% do tráfego mundial. A navegação na Web e o e-mail (e spam!) são outros 15%. E depois há cloud computing.

Hoje, a grande maioria dos serviços web e sites estão hospedados na nuvem. Com isso quero dizer que, em vez de empresas (como Ziff Davis / ExtremeTech) gerindo o seu próprio hardware, armazenamento em nuvem de terceiros e serviços de computação são utilizados. Amazon Web Services (AWS), Microsoft Azure e Google são três exemplos proeminentes de grandes clusters de nuvens, mas há centenas de operações menores que variam em tamanho desde um centro de dados inteiro até alguns racks.

O poder da nuvem é investido no fato de que ela pode ser coagida e empurrada para tarefas tão díspares como um supercomputador baseado em nuvem, para webmail, para o armazenamento simples de documentos. Em um único cluster de nuvens, o Google pode hospedar e servir petabytes de vídeos do YouTube e armazenar todos os seus e-mails e documentos. De todas as facetas da nuvem, porém, hoje vamos nos concentrar no armazenamento em nuvem.

Um data center da Microsoft

Embora o armazenamento possa não ser tão sexy quanto terabytes de RAM e milhares de núcleos de CPU, é a forma mais confiável de medir o tamanho da nuvem, especialmente quando levamos em conta o uso da largura de banda. A partir da quantidade total de armazenamento também podemos calcular o custo do armazenamento em nuvem - e a partir daí, podemos finalmente descobrir porque é que as pessoas como o Google, Microsoft e Dropbox estão a cair sobre si mesmas para fornecer serviços de armazenamento em nuvem.

Como a história da pornografia, vamos primeiro começar com alguns números teóricos, e depois passar para algumas figuras do mundo real (e hardware) do Backblaze, um fornecedor de backup em nuvem.

Petabytes

Para a maioria, números reais das grandes empresas, como Google, Facebook, Amazon e Microsoft, são poucos e distantes. Se você vasculhar a web, no entanto, alguns números rudimentares de parques de diversões emergem:

• Facebook, em seu IPO, diz que armazena mais de 100 petabytes (PB) de mídia (fotos e vídeos). Não é irrealista dizer que o Facebook provavelmente tem uma capacidade total de armazenamento muito maior do que isso, uma vez que você considera os backups e outros dados (atualizações de status, gostos, e assim por diante), possivelmente na faixa de 300PB.
• Microsoft admitiu recentemente que o Hotmail armazena mais de 100 petabytes, e que a SkyDrive, com "17 milhões de clientes", armazena 10PB de dados. Como o Facebook, a capacidade total da Microsoft, uma vez que consideramos o resto do Azure e suas propriedades da web, é provavelmente bem superior a 300 petabytes.
• Megaupload é relativamente pequena em comparação, aparentemente armazenando apenas 25 petabytes.
• Amazon, em vez de nos dar um número agradável e fácil de petabytes, em vez disso anuncia o número total de objetos armazenados pelo seu serviço de armazenamento em nuvem S3. Em abril de 2012, o Amazon S3 armazenava 905 bilhões de objetos. Se assumirmos um tamanho médio de 100KB, são cerca de 90 petabytes; se o tamanho médio for de 1MB, são 900 petabytes - quase um exabyte!
• Dropbox, um ano atrás, armazenou "10+ petabytes" de dados. Tinha então 25 milhões de usuários, e 100 milhões de usuários hoje em dia, sendo tudo igual a empresa agora armazena cerca de 40PB de dados.

Para colocar estes números em perspectiva, um computador médio provavelmente tem um disco rígido de 500GB ou 1TB, e um petabyte é 1024TB. No mínimo, então, os centros de dados da Microsoft e do Facebook são anfitriões de mais de 100.000 discos rígidos. Sem construir hardware personalizado, você pode espremer 48 unidades em uma caixa de 4U. Depois de contabilizar o equipamento de rede, isso significa que você provavelmente está olhando para cerca de 400 discos rígidos por rack 40U - ou 250 racks, cada um dos quais ocupa cerca de um metro quadrado de espaço no chão. Isso pode parecer muito, mas quando você considera que o Google, Amazon, Facebook e Microsoft implantam regularmente centros de dados com plantas de mais de 30.000 metros quadrados (300.000+ pés quadrados), não é muito. Na grande escala das coisas, muito mais espaço é dedicado a servidores (ou seja, CPUs) e equipamentos de rede.

Largura de banda

Largura de banda, nós temos ainda menos dados dos grandes. Sabemos que, desde o ano passado, um milhão de arquivos estavam sendo salvos a cada cinco minutos - então hoje, com quatro vezes mais usuários, são 800.000 arquivos por minuto. O Amazon S3, que é significativamente maior que o Dropbox, trata "650.000 pedidos por segundo"

Se assumirmos que a média de arquivos armazenados no Dropbox é 500KB (uma mistura de fotos, vídeos e documentos) então o Dropbox armazena um total de 400.000 megabytes (0,4TB) por minuto - ou 6,7GB por segundo (54Gbps). Não temos nenhum dado sobre a quantidade de dados que o Dropbox envia por minuto (ou seja, pessoas baixando arquivos de seu Dropbox), mas provavelmente está na região de 10 a 20Gbps.

Amazon S3, que é usado principalmente para armazenar arquivos estáticos para websites (imagens, folhas de estilo, vídeos), provavelmente tem um tamanho médio de arquivo menor do que o Dropbox. Se assumirmos um tamanho médio de 100KB por arquivo, então 650.000 pedidos por segundo chegam a um total de 61 gigabytes de dados transferidos por segundo, ou 488Gbps. Isto é muito próximo do valor de 800Gbps que estimamos para um grande site pornô, o que equivale a cerca de 2% do tráfego total da internet - a Amazon é bem grande!

Facebook e Microsoft, com entre 100 e 300PB de armazenamento cada, provavelmente caem em algum lugar entre Dropbox e Amazon em termos de uso de largura de banda - talvez 200Gbps por peça.