Facebook tem que armazenar 300 milhões de fotos todos os dias

O Facebook está repensando a maneira que armazena dados para lidar com os 7 petabytes de novas fotos que os usuários da rede social carregam em suas páginas a cada mês. Com o número de fotos crescendo, a empresa precisa encontrar maneiras mais baratas e que gastem menos energia para armazenar todas elas, de acordo com o vice-presidente de engenharia de infraestrutura da empresa.

Os usuários fazem upload de cerca de 300 milhões de fotos por dia, ainda mais em ocasiões especiais, disse Jay Parikh, do Facebook, na conferência Structure Europe em Amsterdã, nesta quarta-feira (16). "O Halloween é um dos dias do ano com a maior taxa de carregam de fotos. Vamos chegar a algo em torno de 1 ou 2 bilhões de fotos enviadas em apenas um único dia", disse ele.

Fotos como as tiradas no Halloween logo caem no esquecimento, sem ninguém olhando para elas depois de alguns dias ou semanas, mas "nosso contrato com os usuários é de que não podemos apagar os dados quando não são acessados, temos que mantê-los", disse ele. Isso levou à idéia de colocar as fotos em uma espécie de "arquivo morto", disse Parikh. Para isso, o Facebook pretende construir um novo centro de dados com diferentes tipos de equipamentos de armazenamento, hardware para servidores e rede que consomem menos energia e menos custos do que os centros existentes - tudo isso sem alterar os tempos de resposta dos servidores, disse Parikh.

Mas quão eficiente o Facebook pode tornar seu armazenamento secundário? Quando os custos e o consumo de energia dos centros de dados são reduzidos, o que normalmente acontece é o detrimento da velocidade de acesso. Armazenar dados em fitas, por exemplo, reduz o consumo de energia, mas retarda severamente o acesso aos dados.

A Amazon Web Services está seguindo um caminho intermediário com seu serviço de armazenamento em nuvem Glacier, que lança como uma alternativa para a fita. O serviço é otimizado para dados que são pouco acessados e para os quais várias horas de tempo de recuperação são aceitáveis.

Isso é muito lento para o Facebook, de acordo com Parikh. "Eu não posso ter uma foto que você vá acessar dentro de cinco ou dez anos e mostrar um banner ao usuário que diga ?Ei, por que não tenta novamente em 24 horas?? É preciso que isso esteja disponível na hora?, disse ele.

A maioria dos centros de dados usados atualmente são otimizados para utilizar grande quantidade de energia e lidar com tarefas que necessitam de poder computacional grande. A tecnologia de "arquivo morto" do Facebook está pensando no outro extremo, disse Parikh. "Você precisa de muito espaço, mas não de máxima energia", disse ele, acrescentando que tudo sobre o centro de dados precisa ser repensado para lidar com a escala de problemas com que a rede social enfrenta.

Em um alto nível, o FB está trabalhando em um software que irá descobrir como e onde armazenar uma parte do conteúdo na infraestrutura quando ele envelhece, disse Parikh. "Isso significa que as cópias dos dados irão se mover ao longo do tempo e utilizar diferentes peças de infraestrutura, que teremos otimizado para a idade do conteúdo." Algumas das invenções de software permitirão que o Facebook ainda responda rapidamente, mas armazene dados de maneira mais econômica, disse ele.

O armazenamento secundário fará parte da infraestrutura da companhia em um ano ou dois, disse ele. A empresa de Zuckerberg planeja divulgar e compartilhar as partes que acharem relevantes por meio do ?Open Compute Project?, uma iniciativa lançada pelo FB para aplicar o modelo de software de colaboração open-source no setor de hardware para centros de dados.