Модераторы: korob2001, ginnie
  

Поиск:

Ответ в темуСоздание новой темы Создание опроса
> Яндекс выдаёт несовпадающие страницы. 
:(
    Опции темы
kuksha
Дата 15.6.2011, 10:05 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Бывалый
*


Профиль
Группа: Участник
Сообщений: 154
Регистрация: 15.6.2011

Репутация: нет
Всего: нет



Господа, здравствуйте. Никак не могу понять в чём дело...
Сделайте 2 шага:
1. Откройте яндекс, забейте слово "брахиалис", и не закрывая страничку с результатами, отложите её в сторону. Это первая страница.
2. Запустите простейший скрипт:
Код

#!/usr/bin/perl
use CGI;
use LWP::Simple; 

my $content = get('http://yandex.ru/yandsearch?text=брахиалис&lr=213');

open (PW,">1.htm");
    print PW $content;
close(PW);


Теперь откройте получившийся файл 1.htm - это вторая страница.
Сравните.
На момент написания вопроса, на второй странице отсутствует сайт hardgainer.ru, который виден на первой странице под номером 4. 
В итоге, я получу неверные данные о позициях в яндексе, если попытаюсь парсить страницы, полученные этим скриптом. 

Пробовал запускать и с домашнего компа и с компа провайдера - ошибка остаётся. Может быть яндекс определяет скриптовые запросы и нарочно портит страницу? Как тогда симулировать запрос от пользователя? - примерчик бы smile 
PM MAIL   Вверх
alezzz
Дата 15.6.2011, 10:59 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


сплю...
**


Профиль
Группа: Участник
Сообщений: 499
Регистрация: 17.8.2009

Репутация: 2
Всего: 14



Бывает такое с Яндексом. Воспользуйтесь http://xml.yandex.ru, меньше парсить будете smile. Но это не панацея от ощибок, делал скрипт для yandex xml и сталкивался с проблемой, когда на один и тотже запрос были разные ответы. Запрос был специальный, на выходе должна быть только одна найденая страница, и бывало что не находил эту страницу, хотя должен был и скрипт зацикливало smile, пришлось лепить "костыль" на повторную проверку.
PM MAIL   Вверх
infarch
Дата 16.6.2011, 11:49 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 526
Регистрация: 13.3.2009

Репутация: нет
Всего: 1



User Agent одинаковый сделать?
PM MAIL   Вверх
  
Ответ в темуСоздание новой темы Создание опроса
Правила форума "Perl: CGI программирование"
korob2001
sharq
  • В этом разделе обсуждаются вопросы относящиеся только к CGI программированию
  • Если ваш вопрос не относится к системному или CGI программированию, задавайте его в общем разделе
  • Если ваш вопрос относится к системному программированию, задавайте его здесь
  • Интерпретатор Perl можно скачать здесь ActiveState, O'REILLY, The source for Perl
  • Справочное руководство "Установка perl-модулей", качать здесь


Если Вам понравилась атмосфера форума, заходите к нам чаще! С уважением, korob2001, sharq.

 
0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема | Perl: разработка для Web | Следующая тема »


 




[ Время генерации скрипта: 0.0563 ]   [ Использовано запросов: 22 ]   [ GZIP включён ]


Реклама на сайте     Информационное спонсорство

 
По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности     Powered by Invision Power Board(R) 1.3 © 2003  IPS, Inc.