Модераторы: LSD
  

Поиск:

Ответ в темуСоздание новой темы Создание опроса
> Быстрый поиск в www.mobile.de, Программа поиска новых автопредложений 
:(
    Опции темы
ralfi
  Дата 12.8.2003, 11:20 (ссылка)    |    (голосов: 0) Загрузка ... Загрузка ... Быстрая цитата Цитата


Unregistered











Всем доброго времени суток!

Маленькое вступление, в котором я постараюсь вкратце пояснить суть проблемы.
Один мой друг попросил меня написать программу для поиска новых предложений подержанных машин на самом крупной немецкой бирже подержанных автомобилей (www.mobile.de)
Ну я её написал и чтобы правильно сформулировать суть проблемы, я постараюсь вкратце описать работу программы:
Пользователь запускает программу и воодит поисковую маску (год, цена, марка и т.д, аналогично как и на mobile.de). После этого пользователь нажимает на "поиск", генерируется урлка и посылается через GET запрос на mobile.de
Сервер mobile.de возвращает sourcecode веб-страницы с результатами поиска. Это может быть как и одна страница, так и несколько страниц, если кол-во найденных результатов больше 20 (20 объявлений на одной странице).
Затем программа заносит все находящиеся на странице предложения в .txt файл - эти объявления являются старыми и не представляют интереса. Заносятся они по id номеру, который является идентификатором каждой машины.
Далее следует самое важное!
Каждые 2 секунды программа высылает новый GET запрос на сервер mobile.de с этой же урлкой и сравнивает кол-во найденных машин со старым кол-вом машин, найденым 2 сек назад.
Если кол-во машин с последнего запроса превышает кол-во машин предыдущего запроса - это значит что поступило новое объявление и его нужно найти.
Программа стартует функцию сравнения которая один за одним сравнивает результаты на веб-странице, с результатами в .txt файле. Если один или несколько результатов в файле не найдено, значит они новые и выводятся на экран пользователю. Кликнув на выводимый результат, пользователь попадает сразу на веб-странице нового объявления на сервере mobile.de и получает подробную информация об автомобиле.
Проблема заключается в том, что если результаты умещаются на одной странице, то поиск осуществляется довольно быстро, но если результаты поиска выводятся на нескольких страницах и более, то поиск может продолжаться до 30 сек и более.
Основное время уходит на запрашивание следующих страниц с результатами поиска.

Несколько дней назад, я столкнулся с подобной программой которую написал один мой знакомый.
Его программа находит новые предложения в течении трёх секунд, независимо от кол-ва найденных автомобилей и следовательно веб-страниц. И это всё без какого-либо сравнения, БД или txt файлов. Стало быть, он написал какой-то СУПЕР алгоритм, который направляет его сразу на новые результаты ведь в течении трёх секунд невозможно запросить 25 страниц, отфильтровать результаты и найты новые автомобили.
Вполне возможно что он использует какую-то скрытую функцию на сервере mobile.de которая его направляет на новые результаты.
Я очень внимательно копался в этой веб-странице пытаясь найти хоть что-то на чём может основываться этот чудо-алгоритм. Поэтому мне нужна помощь, естественно не бесплатно, разобраться в этой странице и создать подабный алгоритм.

Буду благодарен за любую помощь в решении моей проблемы, а также гарантирую вознаграждение в пределах разумного!

Заранее спасибо rolleyes.gif:

  Вверх
December
Дата 15.8.2003, 01:12 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Antitheorist
****


Профиль
Группа: Участник
Сообщений: 4423
Регистрация: 14.8.2002
Где: Харьков




ralfi
1) А нет под рукой программы этого знакомого?
2) Может он одновременно требовать 20 страниц?


--------------------
Для друзей с винграда - скидки на разработку сайтов
PM MAIL WWW ICQ   Вверх
p0s0l
Дата 18.8.2003, 23:42 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Г-н Посол
****


Профиль
Группа: Экс. модератор
Сообщений: 3668
Регистрация: 13.7.2003
Где: 58°38' с.ш. 4 9°41' в.д.




Посмотри, какие запросы посылает тf прога (если она у тебя есть). А в принципе, может быть есть параметр даты или времение? Мне, например, подобное надо было сделать с Из рук в руки, дак там был параметр DT=максимальный возраст объявления в днях. Может быть тут что-топодобное, только, например, в минутах (или секундах)?



--------------------
С уважением, г-н Посол.
PM   Вверх
  
Ответ в темуСоздание новой темы Создание опроса
Правила раздела «Флейм»
Sneg0k

Добро пожаловать в «Флейм».

В разделе не действуют многие правила:

  • Можно оффтопить(умеренно)
  • Можно общаться на темы, не только связанные с программированием.

Строго запрещено:

  • Размещать рекламу
  • Обсуждать политику
  • Оскорблять друг-друга и переходить на личности
  • Наезжать, провоцировать других участников форума
  • Материться
  • Троллить

Напоминаем о существовании волшебной кнопочки "Репорт". Если вы увидели сообщение, несовместимое с жизнью, просьба подвести на нее курсор и клацнуть левой клавишей мышки. Тем самым вы сможете призвать злого, но жутко справедливого джина-модератора, который нашлет порчу на злостного нарушителя. Кстати - счётчик сообщений здесь не растёт.


Глас Винграда:


Глас Философии:


Если Вам понравилась атмосфера форума, заходите к нам чаще! С уважением, Sneg0k

 
1 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема | Флейм | Следующая тема »


 




[ Время генерации скрипта: 0.0589 ]   [ Использовано запросов: 20 ]   [ GZIP включён ]


Реклама на сайте     Информационное спонсорство

 
По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности     Powered by Invision Power Board(R) 1.3 © 2003  IPS, Inc.