Версия для печати темы
Нажмите сюда для просмотра этой темы в оригинальном формате
Форум программистов > Стартапы, проекты, идеи > WebChangeNotifier - мониторинг веб-страниц


Автор: AlexP11223 28.3.2018, 16:07
Консольная программа для винды (C#, .NET) позволяющая следить за изменениями данных на сайте. 
Отправляет оповещения на почту (через http://mailgun.com/, он бесплатный до 10к сообщений в месяц, для регистрации не нужен ни домен, ни данные карты).

Недавно захотел следить за обновлениями данных на несколько сайтах (список товаров в местных магазинах), погуглил и оказалось, что все существующие приложения и сервисы либо не имеют всех нужных фич, либо разрешают только 1 проверку в сутки бесплатно. Вот и пришлось самому запилить.

Периодически открывает все URL из списка и получает контент (в виде текста) с помощью указанных XPath или CSS селекторов, если были изменения с предыдущего раза, то отправляет оповещение. 
Оповещение содержит количество новых/удаленных строк и текстовый файл с DIFF (+ в начале для новых строк, - для удаленных, многие текстовые редакторы умеют это подсвечивать).

Использует полноценный браузер (Хром) через Selenium. Предназначалось для использования в виртуальной машине (VirtualBox, VMWare Player, ...), так что возможные неудобства при использовании на основной машине (можно свернуть, но иногда может разворачиваться или перезапускаться) меня не волновали smile При желании должно быть не сложно заменить вебдрайвер на PhantomJS без отображения.

Конфиг в config.json.

Лог, скриншоты, оповещения об ошибках (при повторе).

Исходники и более подробный Readme: https://github.com/AlexP11223/WebChangeNotifier
exe (.NET 4.5.2): https://github.com/AlexP11223/WebChangeNotifier/releases

Автор: vadik25 2.8.2018, 18:29
Тема в наше время очень актуальна. Спасибо за интересную информацию.

Powered by Invision Power Board (http://www.invisionboard.com)
© Invision Power Services (http://www.invisionpower.com)