Форум программистов [Powered by Invision Power Board]

Версия для печати темы
Нажмите сюда для просмотра этой темы в оригинальном формате

Форум программистов > Разное тестирование > BatchURLScraper - Извлечение данных методами XPath

Автор: ChaserHA 17.11.2020, 19:35

Всем привет!

Представляю вашему вниманию бесплатную программу BatchURLScraper, предназначенную для извлечения данных со страниц сайтов используя XPath, CSS-селекторы, XQuery и RegExp.

user posted image

Возможности программы BatchURLScraper:

парсинг и извлечение данных по списку URL
гибкая настройка парсинга используя XPath, CSSPath, XQuery и RegExp
модуль для тестирования правил парсинга
экспорт отчетов в Excel (CSV-формат)

Страница скачивания (5 Мб): https://site-analyzer.ru/soft/batch-url-scraper/

Буду рад любым отзывам и пожеланиям по работе программы.

Автор: ChaserHA 26.11.2020, 18:44

Новая версия BatchURLScraper 1.3

user posted image

Что нового:

расширено число страниц для парсинга с 1000 до 5000 URL
добавлена возможность скрапинга через HTML templates
добавлена возможность извлечения данных через атрибуты CSS
добавлена возможность скрапинга через внешний и внутренний HTML
добавлена возможность использования списков Proxy
исправлен баг некорректного сохранения User-Agent

Страница скачивания: https://site-analyzer.ru/soft/batch-url-scraper/

Автор: ChaserHA 8.12.2020, 19:51

Новая версия BatchURLScraper 1.4 (build 27), 08.12.2020:

исправлена ошибка с валидацией HTML-темплейтов
оптимизирована работа с регулярными выражениями
добавлена возможность неучета повторений при скрейпинге
исправлена проблема с учетом пауз между запросами
диапазон пауз между запросами расширен до полутора минут
доработан и улучшен перевод программы
устранены утечки памяти

Автор: EgorData 3.7.2021, 03:52

А есть какая-нибудь програмка для удаленного парсинга определенного компа? Ну типа что-то проникновения с помощью https://codeby.net/media/pronikaem-v-organizaciju-cherez-wfi-c-ispolzovaniem-airgeddon.142/ , но попроще