Версия для печати темы Нажмите сюда для просмотра этой темы в оригинальном формате

Форум программистов > Perl: Общие вопросы > Запрос страницы каждые 15 секунд, фильтр и в файл

Автор: serg2004 22.3.2005, 06:39

Привет! Нужно получить выжимку с 1000 страниц сайта. Необходимо делать Запрос метод POST, i=1,...1000, делать каждые 15-20 секунд, чтобы не нагружать сайт. Из каждой полученной по запросу страницы отфильтровать нужное и записать в файл. Наверняка есть подходящие скрипты, ПОЖАЛУЙСТА подскажите где есть или какие ключевые слова по английски использовать, чтобы найти подобный скрипт. Или качалку, типа Телепорт, которую можно настроить на перебор метод POST i=1,...1000 , а потом отфильтрую чем-нибудь. С Уважением к Perl сообществу, Serg

Автор: korob2001 22.3.2005, 06:51

Попробуй поищи здесь: http://script.woweb.ru/index.htm/c/4 Цитата Нужно получить выжимку с 1000 страниц сайта. Где хранятся ссылки??? Если их нужно выдёргивать из сайта программно, воспользуйся модулем HTML::Parser или регулярными выражениями. А если хочешь сам написать, то ипользуй модуль LWP, HTTP::Request Создай цикл, на каждой итерации формируй запрос, получай ответ, обрабатывай полученные данные, засыпай на 15 секунд - sleep 15;

Автор: serg2004 22.3.2005, 07:35

Спасибо! Как это часто бывает, после отсыла вопроса, САМ подумал, попробовал и нашел экономное решение запрос поменял на GET - проверил - работает, Сделал в Excele таблицу на 1000 строк типа myurl.com/?page.htm?i=1 myurl.com/?page.htm?i=2 ... myurl.com/?page.htm?i=1000 засунул этот список в Телепорт, настроил проект, чтобы не сильно нагружал сервер и ВСЕ Потом обработаю все полученные файлы с помощью Search And Replace Ивана Синтюрина и ВСЁ !

Автор: GrayCardinal 22.3.2005, 14:42

serg2004 Ну них@@@@ у тебя "экономное решение"

Автор: anest 18.6.2005, 00:29

он наверное имел ввиду что сыкономил на программере ;)

Powered by Invision Power Board (http://www.invisionboard.com)
© Invision Power Services (http://www.invisionpower.com)