#веб_разработка #статистика_фанфикса

Недавно в сети проскочила информация о том, что объем всех данных ВКонтакте составляет примерно 250 петабайт и размещено это богатство на 30 000 серверов! Но это было вступление. А я хотел записать для себя, ну и для всех, кому это может быть интересно, про современную ситуацию с объемом данных фанфикса и смежных проектов. И про перспективы их роста.

1. В базе данных фанфикса сейчас более 20 000 фанфиков и более 70 000 глав к ним. Размер этого богатства превышает 1,1 Гб. Перспективы роста здесь сложно прогнозируется. Но беспокоиться особо не о чем, например, у фикбука, если верить статистике с главной страницы, накопилось 18 Гб текстов, что не является уж очень большой проблемой.

2. Все опубликованные фанфики хранятся в виде готовых к скачиванию архивов в пяти экземплярах (fb2, epub, html и еще архивы по авторам в fb2 и html). И еще архивы серий в двух экземплярах (fb2 и html), но там уже далеко не все фанфики. Все файлы хранятся в заархивированном виде и занимают в сумме чуть более 2 Гб. Это на 8600 опубликованных фанфиков. Рост будет пропорционален росту текстов фанфиков, примерно можно прикинуть, что все необходимые архивы, при условии, что не будут вводится новые форматы, занимают в два с половиной раза больше места, чем тексты фанфиков в базе данных.

3. Аудио версии 37 фанфиков, из которых только 7 - макси, занимают уже 7 Гб. Вот здесь было бы, о чем волноваться, если бы озвучкой фанфиков увлекались многие, но пока никакой угрозы дискам нашего сервера не видно.

4. Фотографии в профилях (аватарки) 12 600 пользователей занимают 500 Мб.

5. За первые дни тестирования сервиса "Фанфик в файл" было сохранено примерно 700 фанфиков, которые хранятся в двух заархивированных экземплярах каждый и занимают уже 230 Мб. Здесь волноваться можно хотя и не сильно. Теоретически сюда могут переползти ВСЕ тексты со всех поддерживаемых сайтов, а на одном фикбуке их 18 Гб при 970 000 фанфиков, на самиздате еще миллион произведений, на хоге и сказках еще 35 000 в сумме. Все это может дать по очень примерным подсчетам до 50 Гб (не забываем, что современные 700 фанфиков в основном макси, а среди всего объема существующих фанфиков макси по количеству занимают не такое уж большое место).

6. Кроме текстов фанфиков на фанфиксе много и другой текстовой информации - личные сообщения, блоги, комментарии, информация в профилях пользователей, новости, логи. Все это сейчас занимает около 1,5 Гб и будет расти пропорционально проходящему времени и росту посещаемости сайта. Но если не раскатывать губу на посещаемость в сотни тысяч уников в сутки, то проблем с этими данными возникнуть не должно. Уж по крайней мере не в вопросе их хранения (обработка и вывод на сайт - вопрос отдельный).

7. Pichome.ru при 8000 загруженных картинок уже занимает на диске 2 Гб. При росте популярности сервиса за пределами фанфикса здесь может быть очень большой рост объема данных, но я заранее рассчитывал, что пикхом в случае успеха переедет на отдельное железо. Хотя пока такого успеха не видать :(

8. multifandom.ru при 312 обоинах уже занимает 1,5 Гб места. Здесь сложность в том, что каждая обоина хранится в более чем десяти экземплярах с разным разрешением (их генерит движок сайта). Но перспективы пока плачевные, у меня категорически не доходят руки до загрузки новых обоев, хотя уже есть почти 1000 штук, собранных по сети и готовых к загрузке... никто не хочет помочь?)

9. В планах есть несколько нововведений, которые могут серьезно увеличить объем хранимых на сервере данных: иллюстрации к фанфикам, загрузка картинок в сообщения в блогах, раздел "Моя библиотека", о котором шла недавно речь в моем блоге...