Тормоза

[Максим Дубинин]

Это сообщение призвано сообщить следующее:

Да, мы знаем про тормоза с форумом и блогом, исследуем что или кто же в этом виноват. Явные претенденты пока отпали.

Тормоза возникают из-за взрывного роста количества http-соединений к сайту (в основном к форуму) с большими таймингами, за раз может висеть по 200-250 штук. От такого дела ложится MySQL и все имеют те же таймауты. Продолжается довольно периодично по 5-10 раз в день.

Сейчас все на стадии исследования. Также купили 2 SSD диска и будем менять RAID. В общем работа идет. Оставайтесь с нами и всё будет хорошо.

[Максим Дубинин]

Большая просьба, если кто-то заметит сегодня значительное по времени зависание форума или сайта вцелом отписаться со временем. Спасибо

[Denis Rykov]

База лежала в:

Код: Выделить всё

9/29/2010    14:33:51    64

[Максим Дубинин]

Интересно вот в это время лежала ли, 97 коннектов:

Код: Выделить всё

2010-09-29,19:31:41, 97

Вот как это во времени выглядит:

[taimyr]

Гораздо интереснее вот это:
29.09.2010 19:31:11 45
29.09.2010 19:31:41 97
29.09.2010 19:32:11 67
29.09.2010 19:32:41 38
То есть удвоение коннектов за 30 сек, потом падение к прежнему уровню за минуту.
Все остальные пики с графика - по тому же сценарию..
У меня единственное разумное объяснение - кто-то влезает с качалкой со снятым ограничением на одновременное количество потоков - она создает черти сколько коннектов за несколько секунд, потом все подвисает и она отрубается.

[Voltron]

Банить гада по IP. Или сразу всю подсеть

[manisha]

Ага, только это может быть индексатор поисковика, нужно предварительно глянуть чьи айпишники.

[Максим Дубинин]

Еще картинка. В 2 часа ночи точно ничего не обсчитывалось.



Приму квалифицированную помощь по парсингу логов около этого времени.

[Максим Дубинин]

вот такую штуку выяснил, если сделать

Код: Выделить всё

cat access_log | grep "30/Sep/2010:02:0" > ~/gl/share/access_log_30092010.log

то база мухой ложится. Любая б.м. серьезная нагрузка (файл access_log 27 Гб) и все, лежит. Вот как выглядит лог по коннектам когда греп запущен:

Код: Выделить всё

2010-09-30,08:22:01, 24
2010-09-30,08:22:31, 30
2010-09-30,08:23:01, 30
2010-09-30,08:23:31, 38
2010-09-30,08:24:01, 43
2010-09-30,08:24:32, 42
2010-09-30,08:25:02, 47
2010-09-30,08:25:32, 57
2010-09-30,08:26:05, 63
2010-09-30,08:26:35, 63
2010-09-30,08:27:05, 73
2010-09-30,08:27:35, 88
2010-09-30,08:28:05, 93
2010-09-30,08:28:35, 93
2010-09-30,08:29:06, 95
2010-09-30,08:29:36, 106
2010-09-30,08:30:06, 104
2010-09-30,08:30:36, 79
2010-09-30,08:31:06, 49
2010-09-30,08:31:36, 19

[Denis Rykov]

Тормоза продолжаются, 12:32

[Максим Дубинин]

[Voltron]

Они (тормоза) вернулись. Наблюдаю с пятницы, особенно заметно стало в воскресенье и сегодня. Форум открывался 20 минут, в блог попасть так и не удалось. Переход по темам, отправка сообщений — все длится по 7-10 минут.

На момент написания тормоза все еще присутствуют.

P.S. при отправке поста иногда выскакивает ошибка вида

General Error
SQL ERROR [ mysqli ]
Too many connections [1040]
An sql error occurred while fetching this page. Please contact an administrator if this problem persists.

[Александр Мурый]

Паа-адтверждаа-ю тормозаа-аа (пардон за мой эстонский). Кроме перечисленного выше, иногда при входе выбрасывает назад, приходится входить по три раза.

[Александр Мурый]

Пнд Окт 24 14:38:55 MSD 2011
Кажись, ускорилось

[Максим Дубинин]

проблемы с дисками к сожалению не ушли далеко, придется их менять, до этого - возможны подобные торможения частей сайта, связанных с БД, как то форума и блога.