Модераторы: powerfox, ZeeLax
  

Поиск:

Ответ в темуСоздание новой темы Создание опроса
> Кто убивает мой процесс 
V
    Опции темы
NZero
Дата 10.12.2018, 11:30 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 358
Регистрация: 28.4.2010
Где: Москва

Репутация: нет
Всего: нет



Всем привет!

На одном из серверов постоянно падает один процесс. Добавил это процесс в исключения для OOM killer, чтобы система не роняла его, когда загружена память. Но что-то это не сильно помогло.

ОС

Код

Linux 2.6.32-358.11.1.el6.x86_64


Системные логи (/var/log/messages)

Код

Dec  8 01:03:40 server2 init: clusterd2 main process (20959) killed by PIPE signal
Dec  8 01:03:40 server2 init: clusterd2 main process ended, respawning
Dec  8 01:03:40 server2 sv-sma: ERROR: Connect to terminal MU (10.10.203.135:4997): Error SCTP-connection
Dec  8 01:03:40 server2 sv-integrity: Exiting by the signal 15
Dec  8 03:28:14 server2 init: clusterd2 main process (26703) killed by PIPE signal
Dec  8 03:28:14 server2 init: clusterd2 main process ended, respawning
Dec  8 03:43:02 server2 rhsmd: In order for Subscription Manager to provide your system with updates, your system must be registered with the Customer Portal. Please enter your Red Hat login to ensure your system is up-to-date.
Dec  8 03:43:34 server2 init: clusterd2 main process (21546) killed by PIPE signal
Dec  8 03:43:34 server2 init: clusterd2 main process ended, respawning
Dec  8 06:37:41 server2 auditd[2256]: Audit daemon rotating log files
Dec  8 09:08:03 server2 init: clusterd2 main process (31511) killed by PIPE signal
Dec  8 09:08:03 server2 init: clusterd2 main process ended, respawning
Dec  8 10:08:15 server2 init: clusterd2 main process (11055) killed by PIPE signal
Dec  8 10:08:15 server2 init: clusterd2 main process ended, respawning
Dec  8 11:43:27 server2 init: clusterd2 main process (16973) killed by PIPE signal
Dec  8 11:43:27 server2 init: clusterd2 main process ended, respawning
Dec  8 12:27:07 server2 init: clusterd2 main process (12684) killed by PIPE signal
Dec  8 12:27:07 server2 init: clusterd2 main process ended, respawning
Dec  8 14:36:16 server2 init: clusterd2 main process (8077) killed by PIPE signal
Dec  8 14:36:16 server2 init: clusterd2 main process ended, respawning
Dec  8 15:40:19 server2 init: clusterd2 main process (25381) killed by PIPE signal
Dec  8 15:40:19 server2 init: clusterd2 main process ended, respawning
Dec  8 17:08:17 server2 init: clusterd2 main process (1343) killed by PIPE signal
Dec  8 17:08:17 server2 init: clusterd2 main process ended, respawning
Dec  8 21:47:39 server2 auditd[2256]: Audit daemon rotating log files
Dec  8 22:05:13 server2 init: clusterd2 main process (25017) killed by PIPE signal
Dec  8 22:05:13 server2 init: clusterd2 main process ended, respawning
Dec  8 22:19:46 server2 init: clusterd2 main process (19214) killed by PIPE signal
Dec  8 22:19:46 server2 init: clusterd2 main process ended, respawning
Dec  9 00:30:00 server2 init: clusterd2 main process (28578) killed by PIPE signal
Dec  9 00:30:00 server2 init: clusterd2 main process ended, respawning
Dec  9 00:36:57 server2 init: clusterd2 main process (14220) killed by PIPE signal
Dec  9 00:36:57 server2 init: clusterd2 main process ended, respawning
Dec  9 00:51:15 server2 init: clusterd2 main process (18633) killed by PIPE signal
Dec  9 00:51:15 server2 init: clusterd2 main process ended, respawning
Dec  9 01:32:58 server2 init: clusterd2 main process (27847) killed by PIPE signal
Dec  9 01:32:58 server2 init: clusterd2 main process ended, respawning
Dec  9 01:52:12 server2 init: clusterd2 main process (22053) killed by PIPE signal
Dec  9 01:52:12 server2 init: clusterd2 main process ended, respawning


Логи ядра (var/log/kern.log)

Код

[root@server2 tmp]# cat /var/log/kern.log
Dec  7 19:22:37 server2 kernel: imklog 5.8.10, log source = /proc/kmsg started.
[root@server2 tmp]#


Запуск/остановка процесса

Код

description "Служба обеспечения резерва сервера"
author "Vitaliy V. Sayfullin"
 
env CONF=/etc/opt/sparta/cluster2.conf
env INFO=/var/sparta/info2
env INFO0=/var/sparta/info2.0
env LOG=/var/log/cluster2.log
env CMD=/var/sparta/cmd2
env START=/var/sparta/start_cluster
 
expect fork
 
normal exit 0 1 TERM HUP
start on filesystem or runlevel [2345]
stop on runlevel [016]
 
exec /usr/bin/cluster $CONF
 
pre-start script
 echo $(date)": Служба обеспечения резерва запущена" >> $LOG
end script
 
pre-stop script
 echo stop > $CMD
 #wait for cluster stop
 while pgrep -f "/usr/bin/cluster $CONF" &>/dev/null ; do
  sleep 1; echo "Ожидаю остановки службы резерва" >> $LOG
 done
 rm -f $CMD
 rm -f $INFO
 rm -f $INFO0
 echo $(date)":  Служба обеспечения резерва остановлена" >> $LOG
end script
 
respawn


P.S. На другом сервере этот процесс работает стабильно, не падает. Таже ОС и такие же параметры.
PM MAIL WWW ICQ   Вверх
_zorn_
Дата 10.12.2018, 17:24 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
***


Профиль
Группа: Завсегдатай
Сообщений: 1077
Регистрация: 21.8.2007

Репутация: нет
Всего: 12



OOM killer in rage  smile 
Порвало когда первый раз увидел. Но да, не ваш случай
Цитата

killed by PIPE signal

Поищите может что нибудь в кроне завалялось.

Цитата
Запуск/остановка процесса

systemd же рулит  smile 

... поле для холивара ...

Это сообщение отредактировал(а) _zorn_ - 10.12.2018, 17:37
PM MAIL   Вверх
NZero
Дата 11.12.2018, 09:48 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 358
Регистрация: 28.4.2010
Где: Москва

Репутация: нет
Всего: нет



К сожалению cron'ом управляет этот процесс, поэтому там ничего криминального быть не должно.
Может дело в самой программе. Пока не знаю, как отловить падение процесса.
PM MAIL WWW ICQ   Вверх
_zorn_
Дата 16.12.2018, 10:14 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
***


Профиль
Группа: Завсегдатай
Сообщений: 1077
Регистрация: 21.8.2007

Репутация: нет
Всего: 12



Цитата(NZero @  11.12.2018,  16:48 Найти цитируемый пост)
быть не должно

А все же проверить ? /var/spool/cron /etc/cron* и т.п.
Сигнал на убийство судя по всему из вне.
PM MAIL   Вверх
NZero
Дата 17.1.2020, 09:40 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 358
Регистрация: 28.4.2010
Где: Москва

Репутация: нет
Всего: нет



Цитата(_zorn_ @ 16.12.2018,  10:14)
Цитата(NZero @  11.12.2018,  16:48 Найти цитируемый пост)
быть не должно

А все же проверить ? /var/spool/cron /etc/cron* и т.п.
Сигнал на убийство судя по всему из вне.

утилитой strace помониторил, что происходит с программой. Добавил строчку в код

Код

cluster.cpp
static int info( const char* str_ ) {
int rc_;
int fd_;
signal(SIGPIPE,SIG_IGN); //ДОБАВЛЕНО ИГНОРИРОВАНИЕ СИГНАЛА SIGPIPE
fd_ = open( info_cluster.data (), O_WRONLY|O_NONBLOCK );
if( -1 == fd_ ) {
// char b_[1024];
// snprintf( b_, sizeof(b_), "Error open: %s", strerror( errno ) );
// syslog( LOG_NOTICE, "%s %s", b_, info_cluster.data() );
return -1;
}
rc_ = write( fd_, str_, strlen( str_ ) );
if( -1 == rc_ ) {
char b_[1024];
snprintf(b_, sizeof(b_), "Error write: %s", strerror( errno ) );
syslog( LOG_NOTICE, "%s %s", b_, info_cluster.data() );
close( fd_ );
return -1;
}
close( fd_ );
return 0;
}


и всё заработало
PM MAIL WWW ICQ   Вверх
_zorn_
Дата 22.1.2020, 17:31 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
***


Профиль
Группа: Завсегдатай
Сообщений: 1077
Регистрация: 21.8.2007

Репутация: нет
Всего: 12



Отсутстсвие отступов ладно... Хотя первый сигнал, что дальше ###код  smile  Но МЛЯ ЧТО ДЕЛАЕТ ЭТОТ КОД ?
Почему "игнорирование" сигналов (и почему вообще их игнорить) в какой то левой функции "info" какого то левого класса (наверное) cluster ?

Лечим сифилис аспирином  smile 

Это сообщение отредактировал(а) _zorn_ - 22.1.2020, 17:33
PM MAIL   Вверх
  
Ответ в темуСоздание новой темы Создание опроса
Правила форума "Linux/UNIX: Администрирование"
ZeeLax
Imple
nerezus
Этот форум предназначен для решения вопросов по администрации *n?x-систем, в частности по настройке сложных сетей и обслуживанию серверного оборудования.

  • Вы должны соблюдать правила форума.
  • Помните: какой вопрос, такой и ответ. Прежде чем задать вопрос прочитайте вот эту статью на форуме CIT.
  • Оскорблять запрещается.
  • Религиозные войны в Религиозных войнах.
  • Общение "просто так" в Клубе юнуксоидов. В отличие от многих других разделов, здесь разрешается сдержанно оффтопить и юморить в тему.

За интересные статьи, находки, решения, программы и просто реальную помощь будут ставиться + в репу).


В данный момент этот раздел модерируют nerezus, nickless, powerfox, pythonwin, Imple и ZeeLax. Если вы хотите помочь нам, пишите в ПМ и мы обсудим.


Спасибо. И use UNIX or die; С уважением, nerezus, nickless, powerfox, pythonwin, Imple, ZeeLax.

 
1 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема | Администрирование *NIX систем | Следующая тема »


 




[ Время генерации скрипта: 0.1200 ]   [ Использовано запросов: 21 ]   [ GZIP включён ]


Реклама на сайте     Информационное спонсорство

 
По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности     Powered by Invision Power Board(R) 1.3 © 2003  IPS, Inc.