Версия для печати темы Нажмите сюда для просмотра этой темы в оригинальном формате

Форум программистов > Программное обеспечение > ПО для сбора статистики посещения web-страниц

Автор: Hypertonyc 24.1.2011, 11:50

Здравствуйте. Подскажите, есть ли какая-нибудь программа для сбора сетевой статистики, которая бы вытаскивала из HTTP трафика заголовки страниц? Т.Е. поставить на Windows-шлюз(NAT) ПО которое бы заглядывало внутрь пакетов выдирала оттуда то что находится между <title></title> и записывала в какое время и с какого компа(по IP адресу) пришел запрос. Больше никакого функционала не нужно просто сбор статистики. В Kerio есть такая возможность все оч. наглядно но керио не могу использовать по ряду причин... Хотел было сам написать подобный сниффер но сейчас много текущих более приоритетных задач. Помогите если кто понял о чем я тут написал. P.S. не люблю запятые )

Автор: Akella 29.1.2011, 16:34

Думаю, что тебе нужен прокси-сервер.

Автор: mihanik 30.1.2011, 00:05

Hypertonyc, Вы не любите запятые? Вы просто не умеете их готовить.    Squid ? http://ru.wikipedia.org/wiki/Squid Добавлено через 2 минуты и 14 секунд http://squid.h12.ru/FAQ/FAQ.html

Автор: Hypertonyc 31.1.2011, 19:24

Мне не принципиально будут ли пакеты проксироваться, или будут анализироваться "на лету". Вопрос в том, что всеми любимый squid и все остальные httpпрокси записывают запрошенный URL или имя_хоста, но НЕ то что мне нужно. Нет, имена хостов это тоже хорошо и здорово, но для полной картины в довесок мне нужны заголовки страниц(то что находится между <title></title>).Если ,допустим, менеджер по продажам зашел на сайт новостей это нормально(допустим почитать о новых событиях для быстрого реагирования в сфере своей рабочей деятельности), но если заголовок страницы "Концерт Бориса Моисеева произвел большой фурор..", то, сами понимаете, осведомленность в этом вопросе никак не повысит уровень продаж(по крайней мере в нашей организации). В данном случае, нет необходимости блокировать сайты или группы сайтов, достаточно потратить полдня-день, бегло проглядев названия хостов и заголовки страниц с них. Мой начальник сказал,что готов выделить для этого анализа время. Зато последующие наказания и мысли о том, что "большой брат следит за тобой" будут держать персонал в тонусе. Жду еще вариантов ПО

Автор: Akina 31.1.2011, 20:52

Это не так. Прокси (действительно прокси, а не роутер) сам получает полностью запрошенную страницу, и потом передаёт клиенту. А для этого клиент сообщает именно прокси-серверу, а не целевому серверу, какая страница ему нужна. Да и роутеры в большинстве своём имеют функционал фиксации именно веб-адресов, а не только хостов. И подавляющее число персональных файрволов умеют регистрировать конкретные адреса страниц. Вот, к примеру, выдержка из лога Outpost, запрос поисковой страницы Гугля: Цитата 2011/01/31 20:49:35   [IEXPLORE.EXE:3548] request HTTP11 GET www.google.ru/search [28] 2011/01/31 20:49:35   [IEXPLORE.EXE:3548] answer HTTP11 302 [28] 2011/01/31 20:49:35   [IEXPLORE.EXE:3548] recv content type: text/html; charset=UTF-8 [28] 2011/01/31 20:49:35   [IEXPLORE.EXE:3548] recv content length: 223 [28] 2011/01/31 20:49:35   [IEXPLORE.EXE:3548] complete [28] size 208 2011/01/31 20:49:35   [IEXPLORE.EXE:3548] request HTTP11 GET www.google.ru/webhp [29] 2011/01/31 20:49:35   [IEXPLORE.EXE:3548] answer HTTP11 200 [29] 2011/01/31 20:49:35   [IEXPLORE.EXE:3548] recv content type: text/html; charset=UTF-8 [29] 2011/01/31 20:49:35   [IEXPLORE.EXE:3548] recv content length: 10124 [29] 2011/01/31 20:49:35   [IEXPLORE.EXE:3548] recv content encoding: gzip [29] 2011/01/31 20:49:35   [IEXPLORE.EXE:3548] complete [29] size 9151 2011/01/31 20:49:36   [IEXPLORE.EXE:3548] request HTTP11 GET www.google.ru/csi?v=3&s=webhp&action=&e=17259,23756,24878,27400,27683,27946,28124,28186,28387,28422&ei=KPZGTbyrPMyK_QaUtqC6AQ&expi=17259,23756,24878,27400,27683,27946,28124,28186,28387,28422&imc=4&imn=4&imp=0&rt=xjsls.282,prt.313,ol.328,iml.313,xjses.453,xjsee.594,xjs.610 [2A] 2011/01/31 20:49:36   [IEXPLORE.EXE:3548] answer HTTP11 204 [2A] 2011/01/31 20:49:36   [IEXPLORE.EXE:3548] recv content type: text/html [2A] 2011/01/31 20:49:36   [IEXPLORE.EXE:3548] complete [2A] size 190

Автор: Hypertonyc 2.2.2011, 08:59

Цитата(Akina @ 31.1.2011,  20:52) Это не так.....в большинстве своём имеют функционал фиксации именно веб-адресов, а не только хостов. Извините, а что не так? Я писал, что "всеми любимый squid и все остальные httpпрокси записывают запрошенный URL или имя_хоста, но НЕ то что мне нужно." А вы говорите, нет! URL - это то, что тебе нужно, сынок!    Akina, извини я не в обиду. Но МНЕ действительно нужно то, что между тэгами <title></title> в полученной пользователем html-странице. Поймите на анализ уже выдернутых заголовков уйдет день,а на анализ контента каждый раз переходя на ссылку...это нереально.

Powered by Invision Power Board (http://www.invisionboard.com)
© Invision Power Services (http://www.invisionpower.com)