Версия для печати темы
Нажмите сюда для просмотра этой темы в оригинальном формате
Форум программистов > Администрирование *NIX систем > Парсинг в rsyslog


Автор: zett86 24.9.2013, 17:34
Привет, ребята.

Чем парсить в rsyslog?
Вот кусок конфига и суть:

Нужно настроить сервер логирования для разработчиков. У них там свой определенный формат логов, которые нужно красиво залить в базу MySQL.

И вот создаю темплейт:
Код

$template dukuy, "insert into DUKUY (datestamp, tagsave, error, sessionid, guid, message)
 values (%datestamp%, %tagsave%, %error%, %sessionid%, %guid%, %message%)",SQL

local4.*  :ommysql:localhost,database,logger,p@s$w0rd;dukuy


Создаю фильтр local4.* и привязываю к нему темплейт.

Логи приходят в таком формате:

Код

DIKIY-ROMAN Test: 2013-09-23 15:38:46^LIST_ED^2^seesion^{00000000-0000-0000-0000-000000000000}^Test message


где ^ - разделитель.

Вот как-то нуна распарсить строку с разделителем и засунуть под темплейт.

Кто-то что-то подобное делал?  smile 

Автор: krypt3r 25.9.2013, 06:11
perl?

Автор: zett86 25.9.2013, 10:22
Вариант. Как?

То есть как подключить перловый скрипт к сислогу?
И как примерно написать скрипт? Как распарсить понимаю.. а вот как принять из сислога (сислог -?> перл -?> сислог) строку и как вернуть в сислог?  smile 

Автор: krypt3r 25.9.2013, 13:35
Будучи близко не знакомым с rsyslog, я предложил простейшее решение парсить приходящие логи перловым скриптом  smile 

Автор: zett86 25.9.2013, 16:20
1. Может как-то еще можно это реализовать базовыми средствами? Может можно как-то регекспами в темплейтах?  
По сути надо как-то распарсить %msg% в шаблоне. Кто-то с таким сталкивался? smile

2. Или как это можно решить с помощью внешнего скрипта на perl?  smile 
Вот так я пытаюсь вызвать свой скрипт из rsyslog'a:
Код

$template dukuy, "%msg%"

if $syslogfacility-text contains 'local4' then ^/home/zett/scripts/local4.pl;dukuy


Сам скрипт пока простой:
Код

#!/usr/bin/perl

use 5.010;
use strict;
use warnings;

my $log = "log/local4.log";
system "touch",  "$log" unless -f $log;

open LOG, ">", "$log"  or die "$0: Can't open file $log :: $!\n";

print LOG "@ARGV\n";


Я просто пытаюсь им создать лог-файл если его нет и выписать туда полученные параметры. Но, увы... ни файла ни параметров......
Если запустить скрипт руками, то файл создается и параметры там есть:

Код

linux-testserver:/home/zett/scripts # ./local4.pl test script
linux-testserver:/home/zett/scripts # cat log/local4.log 
test script


То есть проблемы с вызовом...:

Код

linux-testserver:/home/zett/scripts # logger -p local4.err '2013-09-25 14:49:56^LIST_ED^2^seesion^{00000000-0000-0000-0000-000000000000}^Test message'
linux-testserver:/home/zett/scripts # cat log/local4.log 
cat: log/local4.log: No such file or directory


P.S.  smile 

Автор: zett86 26.9.2013, 18:00
Короч решилось через парсинг на уровне шаблона в rsyslog.conf.

Могу рассказать как, если кому интересно..  smile 
В общем получаем строку
Код

logger -p local4.err '2013-09-25 14:49:56^LIST_ED^2^session^{00000000-0000-0000-0000-000000000000}^Test message'


Ее нужно распарсить по разделителю '^'

Сделать это можно на уровне шаблона rsyslog'a так..

Создаем шаблон:
Код

$template dukuy1,"insert into dukuytest (datestamp, tagsave, error, sessionid, guid, message) values 
('%msg:R,ERE,1,DFLT:([^\^]+)\^([^\^]+)\^([^\^]+)\^([^\^]+)\^([^\^]+)\^([^\^]+)--end%', 
'%msg:R,ERE,2,DFLT:([^\^]+)\^([^\^]+)\^([^\^]+)\^([^\^]+)\^([^\^]+)\^([^\^]+)--end%', 
'%msg:R,ERE,3,DFLT:([^\^]+)\^([^\^]+)\^([^\^]+)\^([^\^]+)\^([^\^]+)\^([^\^]+)--end%', 
'%msg:R,ERE,4,DFLT:([^\^]+)\^([^\^]+)\^([^\^]+)\^([^\^]+)\^([^\^]+)\^([^\^]+)--end%', 
'%msg:R,ERE,5,DFLT:([^\^]+)\^([^\^]+)\^([^\^]+)\^([^\^]+)\^([^\^]+)\^([^\^]+)--end%', 
'%msg:R,ERE,6,DFLT:([^\^]+)\^([^\^]+)\^([^\^]+)\^([^\^]+)\^([^\^]+)\^([^\^]+)--end%')",SQL

(таблица тут кастомная..)

Создаем событие:
Код

local4.*  :ommysql:localhost,database,username,p@s$w0rd;dukuy1


И так эта регулярка парсит строку по разделителю '^'.. Давайте посмотрим что оно значит..  smile 
Код

%msg:R,ERE,1,DFLT:([^\^]+)\^([^\^]+)\^([^\^]+)\^([^\^]+)\^([^\^]+)\^([^\^]+)--end%
msg - переменная с сообщением, это и так понятно..;
:R,ERE,1,DFLT:
R - так и не понял что значит, но оно тут как бы надо..; 
ERE - Extended Regular Expressions; 
1 - это самое интересное  :crazy , номер совпадения; 
DFLT - схема, сам толком не понял какая между ними разница.

Ну а дальше сама регулярка которая просто ищет любые символы кроме '^' до этого же символа и вносит все найденое под номер от 1 до 6.. 


Но есть ограничение связанное с номером совпадения, максимум можно находить 9 совпадений.. 
Мне такое не подходит, так как прийдется парсить строки и на 10 и на 14 и больше подстрок... 
Так что скорей всего еще буду переделывать скриптами, так удобнее менеджить проекты.. 
так что вопрос о скриптах остается пока в силе..  smile 

Автор: zett86 30.9.2013, 12:47
Ну что, никто никогда скрипты к RSysLog'у не потключал?..  smile 

Автор: vitalyisaev2 30.9.2013, 17:13
Может cron'ом их запустить? 

Либо написать небольшой event-based демон с асинхронным вводом-выводом, который будет мониторить изменение логов и делать всё, что тебе надо smile 

Автор: zett86 30.9.2013, 17:16
cron не вариант ) ну а мониторить что?.. нуна хватать логи перед записью, парсить и складывать в мускуль..  smile 

Автор: zett86 21.10.2013, 12:59
Вопрос все еще открыт..  smile 

Powered by Invision Power Board (http://www.invisionboard.com)
© Invision Power Services (http://www.invisionpower.com)