Привет!

Нужно получить выжимку с 1000 страниц сайта.

Необходимо делать Запрос метод POST, i=1,...1000,
делать каждые 15-20 секунд, чтобы не нагружать сайт.
Из каждой полученной по запросу страницы отфильтровать нужное и записать в файл.

Наверняка есть подходящие скрипты, ПОЖАЛУЙСТА подскажите
где есть или какие ключевые слова по английски использовать, чтобы найти подобный скрипт.

Или качалку, типа Телепорт, которую можно настроить на перебор метод POST i=1,...1000 , а потом отфильтрую чем-нибудь.

С Уважением к Perl сообществу, Serg

Попробуй поищи здесь: http://script.woweb.ru/index.htm/c/4

Цитата

Нужно получить выжимку с 1000 страниц сайта.

Где хранятся ссылки??? Если их нужно выдёргивать из сайта программно, воспользуйся модулем HTML::Parser или регулярными выражениями.

А если хочешь сам написать, то ипользуй модуль LWP, HTTP::Request
Создай цикл, на каждой итерации формируй запрос, получай ответ, обрабатывай полученные данные, засыпай на 15 секунд - sleep 15;

Спасибо!

Как это часто бывает, после отсыла вопроса, САМ подумал, попробовал и нашел
экономное решение

запрос поменял на GET - проверил - работает,
Сделал в Excele таблицу на 1000 строк типа
myurl.com/?page.htm?i=1
myurl.com/?page.htm?i=2
...
myurl.com/?page.htm?i=1000

засунул этот список в Телепорт, настроил проект, чтобы не сильно нагружал сервер и ВСЕ

Потом обработаю все полученные файлы с помощью
Search And Replace Ивана Синтюрина и ВСЁ !

serg2004
Ну них@@@@ у тебя "экономное решение"

он наверное имел ввиду что сыкономил на программере ;)