we are sorry, we are open

17.4.2010

Нагрузка на сервер во время очередной революции

Разное — Тэги: — Админ @ 17:54:09.

Задают вопросы о трафике и нагрузке на сервер форума diesel.elcat.kg в кризисные дни очередной революции. Многие интересуются из чистого любопытства, но некоторые в академических целях, например айтишники.

Форум был закрыт 6 апреля 2010 года в 16:40, а открыт 7 апреля примерно в 14:00. О причинах закрытия распространяться не буду, но, думаю, все и так их знают.

Нагрузка на сервер вынудила отключить все второстепенные функции форума в том числе и встроенные средства сбора статистики. Однако сбор статистики внешними скриптами остался. Ниже я привожу наиболее интересные графики и пояснения к ним.

Следующие три графика были зафиксированы 9-го апреля, слева показатели нулевые до момента включения форума. От начала координат до первой чёрной вертикальной черты — 7 апреля, между двумя чёрными линиями — 8-е апреля, а самая правая часть после чёрноq линии — 9-е апреля.

Это график количества пользователей:

В обычные дни количество пользователей составляло примерно 1300. Максимум пользователей, зафикcированный на графике — 5960. Данные о количестве пользователей выдавались движком форума и поэтому в некоторых местах, как вы видите, данные отсутствуют — движок не успевал отдавать статистику в виду очень большой нагрузки на систему.

Это график средней загрузки системы (load average):

Насколько я понимаю, load average показывает сколько процессов находятся в ожидании какого-либо ресурса системы, средний показатель за определённый промежуток времени, в моём случае за 5 минут. В нормальном случае этот показатель должен быть меньше единицы. Как видно на графике зафиксированный максимум — почти 70. В обычные дни load average очень редко достигал 10-ти, а в среднем за сутки был около 3-х.

Это график трафика на сетевой карте:

Нагрузка на сетевой карте в обычное время не превышала и 10 Мбит/с.

На вышеприведённом графике отрисован весь трафик на сетевой карте, а вот это график канала во внешний мир:

Он рисуется в другую сторону — справа «дореволюционные» понедельник и вторник, а слева сегодняшняя суббота. Красная пунктирная линия на уровне 2Мбит — это обычное ограничение во внешний мир и его всегда с запасом хватало. Ограничение было поднято в два раза, чего всё равно оказалось недостаточно — видно как трафик обрезался на уровне 4 Мбит/с.

Теперь о трафике в байтах, а точнее в гигабайтах )

В первых числах апреля Интернет трафик доходил примерно до 1,5ГБ на 7-9ГБ за сутки (входящий и исходящий соответственно).
7-го апреля, с учётом включения форума только в 14:00, Интернет-трафик составил примерно 3,5ГБ на 16ГБ.
8-го апреля — 8,5ГБ на 40,5ГБ.
9-го апреля — 5ГБ на 38,5ГБ.

Трафик по КГ конечно побольше, чем во внешний мир. Разница в обычные дни более существенная, нежели в кризисные.
В начале апреля трафик по КГ доходил примерно до 8-13ГБ на 37-65ГБ.
7-го апреля — 23ГБ на 54ГБ.
8-го апреля — 42.5ГБ на 119.5ГБ.
9-го апреля — 25ГБ на 97.5ГБ.

Ну и далее все показатели постепенно снижаются, но пока ещё не опустились до прежнего уровня.

Для полноты картину привожу технические характеристики сервера:
HP Proliant DL360R05
Quad-Core Intel Xeon E5440
RAM 8 GB
Embedded NC373i Multifunction Gigabit Server Adapters
HP Smart Array P400i/256MB Controller BBWC (RAID 0/1/1+0/5/6)
HDD 3 x 36GB SAS — RAID5 (операционка, MySQL)
HDD 1 x 146GB SAS (директория сайта — скрипты и аплоады)

Софт — FreeBSD 7, nginx, fastcgi-php 5, MySQL 5.1, Invision Power Board 2.3.

Количество запущенных процессов fastcgi-php равно 30-ти, в обычные дни количество занятых процессов редко превышало 10. Запуск же большего числа этих процессов в кризисные моменты приводил лишь к увеличению количества процессов, находящихся в ожидании ответа от MySQL.
Это, а также наблюдение за нагрузкой файловых систем при помощи gstat, даёт мне основания предположить, что узким местом были дисковая подсистема и процессор, загруженность которых приводила к увеличению времени ожидания ответов от MySQL что, в свою очередь, приводило к занятости процессов fastcgi-php. И в конечном итоге пользователи получали от nginx сообщение об ошибке в случаях, когда не было свободных процессов fastcgi-php, готовых обработать запрос посетителя.

Памяти, на мой взгляд, было достаточно. Хотя, при увеличении производительности процессора и дисковой подсистемы, возможно, надо будет увеличивать и объём оперативки. Впрочем это неоднозначно.

Дополнение от 06-05-2010

Показательна статистика посещений тем в разделе «Политика и Общество»:
— за март: 477 933;
— за апрель: 7 693 346;

   

Комментариев: 4 »

  1. Интересная информация. Спасибо!

    Comment by Pasha — 27.4.2010 @ 12:04:12

  2. Ваше сообщение на дизеле. 6.4.2010
    Впервые за всю историю форума с 1998 года форум закрыт на сутки из-за обстоятельств, против которых я пойти не могу.
    Завтра, если ничего не изменится, примерно в это же время форум будет открыт. Но я всё же надеюсь, что смогу включить форум раньше.
    Проношу свои извинения и надеюсь на ваше понимание.
    ____
    вчера 9 августа 2010 не спал всю ночь думал ! какие обстоятельство?хотелось бы узнать детали давления на Вас?и как будем в будушем защищатся ?

    Comment by 7777 — 10.8.2010 @ 19:15:25

  3. Детали я уточнять не буду, т.к. не хочу упоминать людей, которые невиноваты — они тоже действовали под давлением.
    Вкратце скажу, что дали указание выключить форум, в противном случае провайдер был бы вынужден отключить доменное имя. Я решил, что лучше уж пусть люди видят моё сообщение на форуме, чем ошибку в браузере.
    Уже после выключения форума были ещё несколько указаний поменять текст сообщения — сначала убрать словосочетание «из-за обстоятельств, против которых я пойти не могу», потом ещё что-то не понравилось, в конце концов сказали сделать чтобы выводилось сообщение об ошибке MySQL, но этого я уже делать не стал. На следующий день, когда события начали развиваться уже в Бишкеке, я решил включить форум. К моему счастью, ответственным за контроль Интернета лицам, на тот момент, уже было не до меня.

    Я не вижу сколько-нибудь реального механизма защиты от подобных случаев — все внутренние ресурсы можно так или иначе отключить, а ко всем внешним ресурсам можно просто закрыть доступ пользователей из КГ, дав соответствующее указание всем провайдерам.
    Ну и конечно наивно предпогалать, что обычный человек, не имеющий за собой какой-либо реальной силы и денег, может открыто противопоставлять себя властьимущим, тем более в нашей стране.
    Ну и напоследок хочу сказать, что такого частого и необоснованного давления как во время правления Бакиева никогда не было. При Акаеве звонили очень редко и в вежливой форме просили удалить ту или иную тему и, на моей памяти, все эти «просьбы» были обоснованными, я бы и без их звонка удалил указанную тему. При новой власти, пока что, никакого давления не было, хотя я и не склонен доверять кому-либо из нового правительства включая временного президента, но всё же надеюсь, что декларируемая Розой Отунбаевой свобода слова и отсутствие контроля за СМИ не останется просто декларацией. Впрочем, не удивлюсь и обратному. Поживём увидим.

    Comment by Малик — 11.8.2010 @ 11:25:34

  4. Малик ,Я искренне благодарю Вас за ответ и за форум который достоен уважения,а раздел ПиО вообще живет своей жизнью, отдельное спасибо.
    Дай Бог Вам Здоровье и Успехов во всех делах.

    Comment by 7777 — 14.8.2010 @ 17:28:02

Написать комментарий

Blue Captcha Image
Новый проверочный код

*

Последние комментарии:

Powered by WordPress (38 queries. 0,315 seconds)