Форум был закрыт 6 апреля 2010 года в 16:40, а открыт 7 апреля примерно в 14:00. О причинах закрытия распространяться не буду, но, думаю, все и так их знают.

Нагрузка на сервер вынудила отключить все второстепенные функции форума в том числе и встроенные средства сбора статистики. Однако сбор статистики внешними скриптами остался. Ниже я привожу наиболее интересные графики и пояснения к ним.

Следующие три графика были зафиксированы 9-го апреля, слева показатели нулевые до момента включения форума. От начала координат до первой чёрной вертикальной черты — 7 апреля, между двумя чёрными линиями — 8-е апреля, а самая правая часть после чёрноq линии — 9-е апреля.

Это график количества пользователей:

В обычные дни количество пользователей составляло примерно 1300. Максимум пользователей, зафикcированный на графике — 5960. Данные о количестве пользователей выдавались движком форума и поэтому в некоторых местах, как вы видите, данные отсутствуют — движок не успевал отдавать статистику в виду очень большой нагрузки на систему.

Это график средней загрузки системы (load average):

Насколько я понимаю, load average показывает сколько процессов находятся в ожидании какого-либо ресурса системы, средний показатель за определённый промежуток времени, в моём случае за 5 минут. В нормальном случае этот показатель должен быть меньше единицы. Как видно на графике зафиксированный максимум — почти 70. В обычные дни load average очень редко достигал 10-ти, а в среднем за сутки был около 3-х.

Это график трафика на сетевой карте:

Нагрузка на сетевой карте в обычное время не превышала и 10 Мбит/с.

На вышеприведённом графике отрисован весь трафик на сетевой карте, а вот это график канала во внешний мир:

Он рисуется в другую сторону — справа «дореволюционные» понедельник и вторник, а слева сегодняшняя суббота. Красная пунктирная линия на уровне 2Мбит — это обычное ограничение во внешний мир и его всегда с запасом хватало. Ограничение было поднято в два раза, чего всё равно оказалось недостаточно — видно как трафик обрезался на уровне 4 Мбит/с.

Теперь о трафике в байтах, а точнее в гигабайтах )

В первых числах апреля Интернет трафик доходил примерно до 1,5ГБ на 7-9ГБ за сутки (входящий и исходящий соответственно).
7-го апреля, с учётом включения форума только в 14:00, Интернет-трафик составил примерно 3,5ГБ на 16ГБ.
8-го апреля — 8,5ГБ на 40,5ГБ.
9-го апреля — 5ГБ на 38,5ГБ.

Трафик по КГ конечно побольше, чем во внешний мир. Разница в обычные дни более существенная, нежели в кризисные.
В начале апреля трафик по КГ доходил примерно до 8-13ГБ на 37-65ГБ.
7-го апреля — 23ГБ на 54ГБ.
8-го апреля — 42.5ГБ на 119.5ГБ.
9-го апреля — 25ГБ на 97.5ГБ.

Ну и далее все показатели постепенно снижаются, но пока ещё не опустились до прежнего уровня.

Для полноты картину привожу технические характеристики сервера:
HP Proliant DL360R05
Quad-Core Intel Xeon E5440
RAM 8 GB
Embedded NC373i Multifunction Gigabit Server Adapters
HP Smart Array P400i/256MB Controller BBWC (RAID 0/1/1+0/5/6)
HDD 3 x 36GB SAS — RAID5 (операционка, MySQL)
HDD 1 x 146GB SAS (директория сайта — скрипты и аплоады)

Софт — FreeBSD 7, nginx, fastcgi-php 5, MySQL 5.1, Invision Power Board 2.3.

Количество запущенных процессов fastcgi-php равно 30-ти, в обычные дни количество занятых процессов редко превышало 10. Запуск же большего числа этих процессов в кризисные моменты приводил лишь к увеличению количества процессов, находящихся в ожидании ответа от MySQL.
Это, а также наблюдение за нагрузкой файловых систем при помощи gstat, даёт мне основания предположить, что узким местом были дисковая подсистема и процессор, загруженность которых приводила к увеличению времени ожидания ответов от MySQL что, в свою очередь, приводило к занятости процессов fastcgi-php. И в конечном итоге пользователи получали от nginx сообщение об ошибке в случаях, когда не было свободных процессов fastcgi-php, готовых обработать запрос посетителя.

Памяти, на мой взгляд, было достаточно. Хотя, при увеличении производительности процессора и дисковой подсистемы, возможно, надо будет увеличивать и объём оперативки. Впрочем это неоднозначно.

Дополнение от 06-05-2010

Показательна статистика посещений тем в разделе «Политика и Общество»:
- за март: 477 933;
- за апрель: 7 693 346;

С января и в феврале и марте 2009-го, вероятно, регистрация вообще была закрыта и я регистрировал некоторых пользователей вручную )

Кто все эти люди? )))

В новом году вдруг обнаружилось, что в форме написания новой записи в выпадающем меню годов отсутствует 2010-й!
Довольно быстро удалось найти кусок кода, ответственный за формирование выпадающего меню со списком годов:
for( $i = 2006; $i < 2010; $i++ )
Прикольно авторы движка придумали задать год жёстко - до 2010-го и всё тут. Может не думали, что их продукт будет использоваться дольше? Какое неверие в собственное детище )))
Или тем авторы самым хотели сподвигнуть клиентов к приобретению новой версии движка или продлению лицензии на него? Да, наверное это чисто маркетинговая уловка, не глупость программистов же )))

Я исправил в файле sources/components_public/blog/lib/lib_post.php
Вместо:
/* Build year dropdown */
for( $i = 2006; $i < 2010; $i++ )

Указал:
/* Build year dropdown */
$my_cur_year = date ("Y");
for( $i = $my_cur_year-5; $i <= $my_cur_year; $i++ )

Получилось, что в меню отображаются текущий год ($my_cur_year) и 5 предыдущих ($my_cur_year-5).

Один раз измерил количество пакетов приходящих на адрес форума за минуту — получилось 29347.

Вот мне интересно кому это нужно? Смысл не совсем понятен. Ну приходится мне закрывать все обращения из внешнего мира, но ведь ясно, что подавляющее большинство посетителей приходит из местных сетей.

При этом досталось не только самому ЭлКату, но и его вышестоящему провайдеру, а также и вышестоящим провайдерам вышестоящего провайдера. Сначала пытались ограничиться блокирование только лишь ICMP запросов для атакуемых адресов, что позволяло работать сайтам почти в нормальном режиме, т.е. быть доступными из Интернета. Но, по словам вышестоящего провайдера, их маршрутизатор не справлялся с такой задачей и пришлось заблокировать весь трафик к указанным адресам. Правда мне не понятно почему разница в том и другом случае фильтрования может быть настолько существенна. Конечно это снизило нагрузку на канале, но задачи атакующих оказались выполнены — сайты из-вне недоступны. Поэтому была предпринята попытка развернуть входящий трафик на упомянутые сайты через резервный канал, но и там вышестоящий провайдер через некоторое время заблокировал эту возможность из-за высокой нагрузки на каналы связи.

Таким образом в обоих случах мы оказались бессильны против атакующих. Впрочем тут оказались бы бессильны не только мы, если даже сайты даже таких компаний как Microsoft можно завалить подобными атаками.