Мой сайт

Недавно социальная сеть Facebook обнародовала некоторую статистику о том, какие объемы данных хранятся на ее серверах. Так, каждый день система обрабатывает 2,5 млн единиц контента, общий размер которого превышает 500 Тб. Ежедневно загружается 300 млн новых фотографий и генерируется 2,7 млрд «лайков», а каждые полчаса сканируется 105 Тб данных.

Но 500 Тб — это капля в море по сравнению с емкостью Hadoop-кластера, который сейчас содержит 100 петабайт данных. Напомним, что 1 петабайт — это 1 048 576 Гб. Представить такое тяжело, но все же возможно — достаточно лишь подсчитать, что вся информация Facebook легко уместится на 100 тыс. жестких дисков емкостью 1 Тб каждый. Впрочем, если поделить все это на 1 млрд зарегистрированных пользователей, то легко понять, откуда получаются такие цифры.

По словам технического директора соцсети Джея Париха (Jay Parikh), Facebook имеет крупнейший Hadoop-кластер в мире.