Модераторы: powerfox, ZeeLax
  

Поиск:

Ответ в темуСоздание новой темы Создание опроса
> Подсчёт трафика в реальном времени 
:(
    Опции темы
WolfAlone
Дата 6.10.2010, 15:22 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


В экстазе
***


Профиль
Группа: Завсегдатай
Сообщений: 1010
Регистрация: 16.9.2008
Где: Рай

Репутация: 2
Всего: 5



Доброго времени суток! Подскажите пожалуйста, с помощью чего можно подсчитывать трафик в реальном времени?

Дано:
1. Linux Debian 5;
2. Клиенты, с постоянными IP-адресами;
3. Трафик во вне, проходящий через интерфейс eth3.

Задача:
Посчитать по IP-шнику входящий и исходящий трафик, проходящий через интерфейс eth3. Подсчёт по возможности должен быть как можно точнее и производиться в реальном времени, желательно по каждому порту в отдельности.

P.S. В линуксе почти ещё новичек, по этому прошу не судить строго!


--------------------
И сказал Бог: "Тогда я построю свой мир с блэк-джеком и шлюхами!"

Ф топку Ubuntu, Debian наше фсё!

(с) Евгений Вольф
PM MAIL WWW ICQ Skype   Вверх
leniviy
Дата 6.10.2010, 15:51 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 552
Регистрация: 8.2.2003
Где: Спб

Репутация: нет
Всего: 5



Что значит, в реальном времени? Ставится пакет iptables, ищется в гугле подходящий скрипт и подпиливается под себя.
http://www.google.ru/search?q=iptables+ban...;client=firefox

Принцип простой: для каждого клиента создаются цепочки, и пакеты этого клиента фильтруются в неё. 
Потом периодически (например, раз в минуту) вызывается команда iptables с нужными параметрами. Она выводит счетчики трафика, при этом они обнуляются.
Результат команды обрабатывается и заносится, ну скажем, в текстовый лог или в базу. 
Потом можно сделать выборку из этого лога, просуммировать количество переданных данных.

PM MAIL   Вверх
WolfAlone
Дата 7.10.2010, 10:38 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


В экстазе
***


Профиль
Группа: Завсегдатай
Сообщений: 1010
Регистрация: 16.9.2008
Где: Рай

Репутация: 2
Всего: 5



Почитал больше кол-во информации и комментариев по поводу подсчёта трафика с помощью iptables. Мнения очень сильно разнятся, по поводу качества и точности подсчёта трафика таким методом. Скажите пожалуйста, что Вы думаете по поводу точности учёта трафика таким методом?


--------------------
И сказал Бог: "Тогда я построю свой мир с блэк-джеком и шлюхами!"

Ф топку Ubuntu, Debian наше фсё!

(с) Евгений Вольф
PM MAIL WWW ICQ Skype   Вверх
ZeeLax
Дата 7.10.2010, 20:26 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
****


Профиль
Группа: Модератор
Сообщений: 4388
Регистрация: 20.8.2006
Где: Алма-Ата

Репутация: 26
Всего: 88



Всё зависит от метода снятия данных с нетфильтра.

От себя могу порекомендовать следующее:
0. Не зморачиваемся с iptables.
1. Ставите netflow-сенсор на свой маршрутизатор.
2. Ставите куда-нибудь ещё (можно туда же, если нагрузка позволяет) анализатор трафика или простенький биллинг.
3. Отправляете netflow-трафик с сенсора в коллектор.

Получите (если будете юзать биллинг) удобное решение учета трафика, если ещё и анализатор - удобную систему мониторинга (для понимания, что плохо и кто козел).

Для начала рекомендую пакеты fprobe (сенсор) и flow-tools (куча утилит для netflow) оба есть в репозиториях дебиана (опенсорс). В качестве биллинга - Abills (опенсорс), в качества анализатора - Manageengine Netflow Analyzer (не опенсорс и стоит денег) или FlowScan (погуглите, опенсор вроде).
Юзаю:
fprobe и flow-tools - бесценный софт;
анализатор от Manageengine хорош, но стоит тоже хорошо;
Abills - большой комбайн, тяжеловат, мутноват, но вроде работает.
Цели использования отличаются от ваших, но вроде и вам подойдёт.


--------------------
Utility is when you have one telephone, luxury is when you have two, opulence is when you have three — and paradise is when you have none.
— Doug Larson
PM MAIL WWW ICQ Skype Jabber   Вверх
WolfAlone
Дата 8.10.2010, 10:58 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


В экстазе
***


Профиль
Группа: Завсегдатай
Сообщений: 1010
Регистрация: 16.9.2008
Где: Рай

Репутация: 2
Всего: 5



ZeeLax, спасибо огромное за консультацию, уже изучаю описанное выше.

Хотелось бы ещё уточнить один маленький нюанс! Если учёт трафика необходимо организовать на устройстве с очень малой вычислительной мощностью. Какой из способов учёта трафика будет давать наименьшую нагрузку на процессор и потреблять наименьшее кол-во ОЗУ? Так же, ключевым требованием является то, что обновление статистики должно быть не реже 1 раза в минуту.


--------------------
И сказал Бог: "Тогда я построю свой мир с блэк-джеком и шлюхами!"

Ф топку Ubuntu, Debian наше фсё!

(с) Евгений Вольф
PM MAIL WWW ICQ Skype   Вверх
ZeeLax
Дата 8.10.2010, 12:48 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
****


Профиль
Группа: Модератор
Сообщений: 4388
Регистрация: 20.8.2006
Где: Алма-Ата

Репутация: 26
Всего: 88



Нагрузка сильно зависит от глубины учета. Если только трафик - это просто. Если трафик, с учетом на ресурсы - это уже сложнее. Если учитывать порты - ещё сложнее. Опять же, раз минуту если хотите, то тут много не сагрегируешь, стало быть, тоже нагрузка будет выше, чем раз в 20 минут, допустим, аккаунтинг снимать.
Если не юзать анализатор, а просто учет - нагрузка будет ниже. Manageengine жрет кучу ресурсов, как дисковых, так и высислительных.
Вообще, советую не экономить, и вести учет на достаточно производительной железке. Естественно, "достаточная производительность" зависит от трафика - как от мегабитов, так и от PPS.


--------------------
Utility is when you have one telephone, luxury is when you have two, opulence is when you have three — and paradise is when you have none.
— Doug Larson
PM MAIL WWW ICQ Skype Jabber   Вверх
WolfAlone
Дата 8.10.2010, 13:55 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


В экстазе
***


Профиль
Группа: Завсегдатай
Сообщений: 1010
Регистрация: 16.9.2008
Где: Рай

Репутация: 2
Всего: 5



Уважаемый ZeeLax! Скажите пожалуйста, а откуда все эти системы учёта снимают данные, которые потом анализируются? Как я понял - основная масса систем учёта работает на прикладном уровне, а оставшееся часть уже на более низком уровне. Хотелось бы выяснить источники данных для систем прикладного уровня.


--------------------
И сказал Бог: "Тогда я построю свой мир с блэк-джеком и шлюхами!"

Ф топку Ubuntu, Debian наше фсё!

(с) Евгений Вольф
PM MAIL WWW ICQ Skype   Вверх
ZeeLax
Дата 8.10.2010, 14:29 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
****


Профиль
Группа: Модератор
Сообщений: 4388
Регистрация: 20.8.2006
Где: Алма-Ата

Репутация: 26
Всего: 88



Данные в этом случае снимает только сенсор. Если брать fprobe, то он делает это с помощью библиотеки pcap (libpcap в нашем случае).
Данные о трафике передаются коллектору по протоколу NetFlow, широко применяющемуся в сетях на основе Cisco и других вендоров. Коллектор, обрабатывая пакеты NetFlow определяет расход трафика, нагрузку и прочие данные, в зависимости от логики своей работы (логика зависит от типа приложения, частью которого является коллектор).


--------------------
Utility is when you have one telephone, luxury is when you have two, opulence is when you have three — and paradise is when you have none.
— Doug Larson
PM MAIL WWW ICQ Skype Jabber   Вверх
  
Ответ в темуСоздание новой темы Создание опроса
Правила форума "Linux/UNIX: Oбщие вопросы"
nickless
Imple
nerezus

В тему здесь вопросы общие - не привязанные к определенному ПО или дистрибутиву BSD/Linux/UNIX.
Например вопросы о выборе ОС для определенных задач (но если Вы просто хотите узнать "Какой дистрибутив лучше", то для этого есть Клуб юнуксоидов).
Общие вопросы по shell-программированию тоже лучше задавать здесь.


  • Вопросы мобильной разработки тут
  • Вы должны соблюдать правила форума.
  • Помните: какой вопрос, такой и ответ. Прежде чем задать вопрос прочитайте вот эту статью на форуме CIT.
  • Оскорблять запрещается.
  • Религиозные войны в Религиозных войнах.
  • Общение "просто так" в Клубе юнуксоидов. В отличие от многих других разделов, здесь разрешается сдержанно оффтопить и юморить в тему.

За интересные статьи, находки, решения, программы и просто реальную помощь будут ставиться + в репу).


В данный момент этот раздел модерируют nerezus, nickless, powerfox, pythonwin, Imple и ZeeLax. Если вы хотите помочь нам, пишите в ПМ и мы обсудим.


Спасибо. И use UNIX or die; С уважением, nerezus, nickless, powerfox, pythonwin, Imple, ZeeLax.

 
1 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема | *NIX системы: Общие вопросы | Следующая тема »


 




[ Время генерации скрипта: 0.0686 ]   [ Использовано запросов: 21 ]   [ GZIP включён ]


Реклама на сайте     Информационное спонсорство

 
По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности     Powered by Invision Power Board(R) 1.3 © 2003  IPS, Inc.