![]() |
Модераторы: LSD |
![]() ![]() ![]() |
|
ralfi |
|
|||
Unregistered |
Всем доброго времени суток!
Маленькое вступление, в котором я постараюсь вкратце пояснить суть проблемы. Один мой друг попросил меня написать программу для поиска новых предложений подержанных машин на самом крупной немецкой бирже подержанных автомобилей (www.mobile.de) Ну я её написал и чтобы правильно сформулировать суть проблемы, я постараюсь вкратце описать работу программы: Пользователь запускает программу и воодит поисковую маску (год, цена, марка и т.д, аналогично как и на mobile.de). После этого пользователь нажимает на "поиск", генерируется урлка и посылается через GET запрос на mobile.de Сервер mobile.de возвращает sourcecode веб-страницы с результатами поиска. Это может быть как и одна страница, так и несколько страниц, если кол-во найденных результатов больше 20 (20 объявлений на одной странице). Затем программа заносит все находящиеся на странице предложения в .txt файл - эти объявления являются старыми и не представляют интереса. Заносятся они по id номеру, который является идентификатором каждой машины. Далее следует самое важное! Каждые 2 секунды программа высылает новый GET запрос на сервер mobile.de с этой же урлкой и сравнивает кол-во найденных машин со старым кол-вом машин, найденым 2 сек назад. Если кол-во машин с последнего запроса превышает кол-во машин предыдущего запроса - это значит что поступило новое объявление и его нужно найти. Программа стартует функцию сравнения которая один за одним сравнивает результаты на веб-странице, с результатами в .txt файле. Если один или несколько результатов в файле не найдено, значит они новые и выводятся на экран пользователю. Кликнув на выводимый результат, пользователь попадает сразу на веб-странице нового объявления на сервере mobile.de и получает подробную информация об автомобиле. Проблема заключается в том, что если результаты умещаются на одной странице, то поиск осуществляется довольно быстро, но если результаты поиска выводятся на нескольких страницах и более, то поиск может продолжаться до 30 сек и более. Основное время уходит на запрашивание следующих страниц с результатами поиска. Несколько дней назад, я столкнулся с подобной программой которую написал один мой знакомый. Его программа находит новые предложения в течении трёх секунд, независимо от кол-ва найденных автомобилей и следовательно веб-страниц. И это всё без какого-либо сравнения, БД или txt файлов. Стало быть, он написал какой-то СУПЕР алгоритм, который направляет его сразу на новые результаты ведь в течении трёх секунд невозможно запросить 25 страниц, отфильтровать результаты и найты новые автомобили. Вполне возможно что он использует какую-то скрытую функцию на сервере mobile.de которая его направляет на новые результаты. Я очень внимательно копался в этой веб-странице пытаясь найти хоть что-то на чём может основываться этот чудо-алгоритм. Поэтому мне нужна помощь, естественно не бесплатно, разобраться в этой странице и создать подабный алгоритм. Буду благодарен за любую помощь в решении моей проблемы, а также гарантирую вознаграждение в пределах разумного! Заранее спасибо ![]() |
|||
|
||||
December |
|
|||
![]() Antitheorist ![]() ![]() ![]() ![]() Профиль Группа: Участник Сообщений: 4423 Регистрация: 14.8.2002 Где: Харьков |
ralfi
1) А нет под рукой программы этого знакомого? 2) Может он одновременно требовать 20 страниц? |
|||
|
||||
p0s0l |
|
|||
![]() Г-н Посол ![]() ![]() ![]() ![]() Профиль Группа: Экс. модератор Сообщений: 3668 Регистрация: 13.7.2003 Где: 58°38' с.ш. 4 9°41' в.д. |
Посмотри, какие запросы посылает тf прога (если она у тебя есть). А в принципе, может быть есть параметр даты или времение? Мне, например, подобное надо было сделать с Из рук в руки, дак там был параметр DT=максимальный возраст объявления в днях. Может быть тут что-топодобное, только, например, в минутах (или секундах)?
-------------------- С уважением, г-н Посол. |
|||
|
||||
![]() ![]() ![]() |
Правила раздела «Флейм» | |
|
Добро пожаловать в «Флейм». В разделе не действуют многие правила:
Строго запрещено:
Напоминаем о существовании волшебной кнопочки "Репорт". Если вы увидели сообщение, несовместимое с жизнью, просьба подвести на нее курсор и клацнуть левой клавишей мышки. Тем самым вы сможете призвать злого, но жутко справедливого джина-модератора, который нашлет порчу на злостного нарушителя. Кстати - счётчик сообщений здесь не растёт. Глас Винграда:
Глас Философии:
Если Вам понравилась атмосфера форума, заходите к нам чаще! С уважением, Sneg0k |
1 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей) | |
0 Пользователей: | |
« Предыдущая тема | Флейм | Следующая тема » |
|
По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности Powered by Invision Power Board(R) 1.3 © 2003 IPS, Inc. |