VPF::html грабер - Форум программистов

burakov

Дата 30.3.2010, 13:14 (ссылка)

(нет голосов)

Загрузка ...

Опытный

Профиль
Группа: Участник
Сообщений: 554
Регистрация: 28.7.2006

Репутация: нет
Всего: нет

Добрый день,
написал хтмл грабер на перл.

но он не вытягивает контент из адресов
типа
http://yandex.ru/yandsearch?text=%D0%BA%D0...11&lr=11053

ну то есть в файрфоксе у меня в строке адреса русские буквы...
я так понимаю, что строку адреса - нужно как то преобразовать?

наверное нужно еще немножко пояснений smile

.
Url мой грабер берет из url.txt, куда я копирую адресную строку броузера (после копирования получаются вот такие вот кракозябры, вместо русских букв)

подскажите...

--------------------

Нотный архив http://libnote.ru скачать ноты бесплатно

ginnie

Дата 30.3.2010, 14:56 (ссылка)

(нет голосов)

Загрузка ...

Эксперт

Профиль
Группа: Комодератор
Сообщений: 1287
Регистрация: 6.1.2008
Где: Москва

Репутация: 6
Всего: 49

burakov, приведенный url правильный, русские буквы преобразованы в коды. Что скрипт возвращает в качестве содержимого страниц? Или он вообще не делает запрос к серверу?

--------------------

Написать код, понятный компьютеру, может каждый, но только хорошие программисты пишут код, понятный людям. (Мартин Фаулер. Рефакторинг)

krypt3r

Дата 31.3.2010, 06:39 (ссылка)

(нет голосов)

Загрузка ...

Опытный

Профиль
Группа: Участник
Сообщений: 359
Регистрация: 9.6.2009

Репутация: 1
Всего: 16

Цитата

после копирования получаются вот такие вот кракозябры

Вас так легко напугать урленкодом? smile

Кириллицу в линк нужно подставлять, предварительно прогнав ее через функцию uri_escape модуля URI::Escape, например:

Код


#!/usr/bin/perl

use strict;
use warnings;
use URI::Escape qw /uri_escape_utf8/;
use LWP::Simple;
use utf8;

$\ = "\n";
my $query = "каталог ссылок"; # Запрос в UTF-8
my $url = 'http://yandex.ru/yandsearch?text=' 
  . uri_escape_utf8 ($query) . '&clid=46511&lr=11053';
#print $url;
my $content = get ($url);
print $content;

1 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема \| Perl: Системное программирование \| Следующая тема »