Модераторы: LSD, AntonSaburov
  

Поиск:

Ответ в темуСоздание новой темы Создание опроса
> tomcat периодически падает. Почему? есть дамп потоков 
:(
    Опции темы
Barvetal
Дата 15.5.2007, 10:19 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Бывалый
*


Профиль
Группа: Awaiting Authorisation
Сообщений: 181
Регистрация: 31.10.2005

Репутация: 5
Всего: 5
Здравствуйте!

Иногда (примерно раз в день-два) наш продуктовый сервер "падает". И вот уже несколько месяцев не могу понять почему. Ни одной записи ни в один лог сервер не пишет. На момент падения процессор не загружен.

Когда сервер упал пару дней назад, я сделал дам потоков (через kill -3). Дамп находится во вложенном файле.

Я написал утилиту, которая разбирает дамп, и смотрит, какие блокировки наиболее ожидаемые. Нашел, что есть 5 таких блокировок, которых ожидает более одного потока. Причем ожидают долго, потому что потоки растут несколько минут перед тем, как tomcat вообще перестанет отдавать страницы.

Одна из этих пяти блокировок (0x00002b58afb89630) нигде не лочится в дампе потоков (нету locked <0x00002b58afb89630>), но 85 потоков ее ожидают. Как это может быть???

Другие 4 лока залочены потоками, которые "залипают" на примитивных операциях на длительное время. Например, этот поток сейчас находится в 
java.util.HashMap.newKeyIterator, но 89 других потоков ждут этого лока (<0x00002b58afb85b1>) несколько минут:

Код

"http-8080-Processor1533" daemon prio=1 tid=0x00002aaab2566160 nid=0x6acb runnable 
 
[0x000000004c410000..0x000000004c412c20]
    at java.util.HashMap.newKeyIterator(HashMap.java:889)
    at java.util.HashMap$KeySet.iterator(HashMap.java:921)
    at java.util.HashSet.iterator(HashSet.java:154)
    at net.sf.ehcache.event.RegisteredEventListeners.notifyElementExpiry(RegisteredEventListeners.java:116)
    at net.sf.ehcache.Cache.remove(Cache.java:1017)
    at net.sf.ehcache.Cache.searchInMemoryStore(Cache.java:829)
    at net.sf.ehcache.Cache.get(Cache.java:654)
    - locked <0x00002b58afb85b18> (a net.sf.ehcache.Cache)
    at org.hibernate.cache.EhCache.get(EhCache.java:75)
    at org.hibernate.cache.StandardQueryCache.get(StandardQueryCache.java:96)
    at org.hibernate.loader.Loader.getResultFromQueryCache(Loader.java:2086)
    ....................................
    at org.apache.tomcat.util.threads.ThreadPool$ControlRunnable.run(ThreadPool.java:684)
    at java.lang.Thread.run(Thread.java:595)

Остальные 3 лока тоже залипли на примитивных операциях.

Вот что выдала моя утилита, которая анализирует количество вхождений waiting to lock <xxx> и waiting on <xxx> в лог.

Код

waiting to lock <xxx>::
<0x00002b58afb8bd18>: 1 times.
<0x00002b58afb9aa50>: 1 times.
<0x00002b58afb9c138>: 2 times.
<0x00002b58afb8b690>: 1 times.
<0x00002b597ae1ecf8>: 1 times.
<0x00002b58afb85b18>: 89 times.
<0x00002b58afb88548>: 1 times.
<0x00002b58afb96110>: 1 times.
<0x00002b58afb89630>: 85 times.
<0x00002b58afb8e5a0>: 1 times.
<0x00002b58afb98090>: 1 times.
<0x00002b58afbacd28>: 1 times.
<0x00002b58afb99380>: 1 times.
<0x00002b58afb9a0f8>: 1 times.
<0x00002b58afb90d48>: 1 times.
<0x00002b58a34127a8>: 4 times.
<0x00002b58b09c5138>: 29 times.
<0x00002b58afb91d18>: 1 times.
 
waiting on <xxx>::
<0x00002b58afbb0370>: 1 times.
<0x00002b58adae0ff8>: 1 times.
<0x00002b58adae0f48>: 1 times.
<0x00002b58adae0d38>: 1 times.
<0x00002b58afbb0518>: 1 times.
<0x00002b58adae0de8>: 1 times.
<0x00002b58af9a7ba0>: 1 times.
<0x00002b58adae0e98>: 1 times.
<0x00002b58afbaf898>: 1 times.
<0x00002b58b0930400>: 1 times.
<0x00002b58afbaff00>: 1 times.



Моя системная конфигурация:
Код

jdk 1.5.0.11
tomcat 5.5.20
SuSe Linux 10.1


Как я могу решить эту проблему? Пожалуйста, помогите мне!

Спасибо!

Присоединённый файл ( Кол-во скачиваний: 2 )
Присоединённый файл  stackdump2.zip 57,28 Kb
PM MAIL   Вверх
KostenkoSergey
Дата 15.5.2007, 10:24 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 290
Регистрация: 31.10.2005
Где: Kiev

Репутация: 3
Всего: 8
а как обстоят дела с памятью ?
Может он по OutOfMemory слетает?
PM ICQ   Вверх
Barvetal
Дата 15.5.2007, 11:48 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Бывалый
*


Профиль
Группа: Awaiting Authorisation
Сообщений: 181
Регистрация: 31.10.2005

Репутация: 5
Всего: 5
Цитата(KostenkoSergey @ 15.5.2007,  10:24)
а как обстоят дела с памятью ?
Может он по OutOfMemory слетает?

Нигде в логах не видно OutOfMemory...
PM MAIL   Вверх
seth
Дата 16.5.2007, 09:50 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 316
Регистрация: 4.6.2006

Репутация: 1
Всего: 1
у меня недавно была схожая проблема - томкэт падал и падал - в логах пишется блокировка

ну мы подумали и решили что наверняка блокировка была при работе многих килентов с базой аксеса (не пинайте это была острая нехватка времени)


--------------------
Мой блог
PM MAIL   Вверх
Tony
Дата 16.5.2007, 10:01 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
***


Профиль
Группа: Завсегдатай
Сообщений: 1159
Регистрация: 3.3.2006
Где: Riga

Репутация: 6
Всего: 12
Если думаешь, 4то при4ина из-за нагрузки.То попробуй поганять свой сервер програмкой jMeter.


--------------------
user posted image
user posted image
PM MAIL Skype   Вверх
  
 Ответ в темуСоздание новой темы Создание опроса
Правила форума "Java"
LSD   AntonSaburov
powerOn   tux
  • Прежде, чем задать вопрос, прочтите это!
  • Книги по Java собираются здесь.
  • Документация и ресурсы по Java находятся здесь.
  • Используйте теги [code=java][/code] для подсветки кода. Используйтe чекбокс "транслит", если у Вас нет русских шрифтов.
  • Помечайте свой вопрос как решённый, если на него получен ответ. Ссылка "Пометить как решённый" находится над первым постом.
  • Действия модераторов можно обсудить здесь.
  • FAQ раздела лежит здесь.

Если Вам помогли, и атмосфера форума Вам понравилась, то заходите к нам чаще! С уважением, LSD, AntonSaburov, powerOn, tux.
 
0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема | Java EE (J2EE) и Spring | Следующая тема »

Подписаться на тему | Подписка на этот форум | Скачать/Распечатать тему


 




[ Время генерации скрипта: 0.0479 ]   [ Использовано запросов: 22 ]   [ GZIP включён ]


Реклама на сайте     Информационное спонсорство

 
 По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности     Powered by Invision Power Board(R) 1.3 © 2003  IPS, Inc.