VPF::LWP и UTF8 - Форум программистов

burakov

Дата 30.12.2012, 01:52 (ссылка)

(нет голосов)

Загрузка ...

Опытный

Профиль
Группа: Участник
Сообщений: 554
Регистрация: 28.7.2006

Репутация: нет
Всего: нет

Добрый день.
есть ссылка вида
http://en.wikipedia.org/wiki/Relaci%C3%B3n_sexual

от которой нужно получить контент .
при помощи LWP

это ссылка в кодировке utf8
если вставить в адресную строку броузера ссылку то это видно.
ссылка рабочая.

lwp же дает 404

что нужно сделать, чтобы LWP работал с такими ссылками?
скрипт в кодировке utf8

читаю ссылки построчно из файла

Код


use strict;
use warnings;
use URI::Escape;

use HTML::TreeBuilder::XPath;
use LWP::UserAgent;
use HTTP::Request;
use HTTP::Response;
use HTTP::Cookies;

use utf8;
use locale;
use encoding 'utf8';

my $lwp = LWP::UserAgent -> new ();
$lwp -> cookie_jar (HTTP::Cookies->new ());
$lwp -> agent ('Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.9.2.16) Gecko/20110319 Firefox/3.6.16');
$lwp -> timeout (5);


my $file1 = '1.txt'; 
my @file = ();
open (FILE, '<:utf8', $file1) or die;
@file = <FILE>; 
close (FILE); 


foreach (@file) {
    $_ =~ s/\n//g;
    my $req = HTTP::Request -> new (
        'GET' => $_,
        [
            'Accept' => 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
            'Accept-Language' => 'ru-ru,ru;q=0.8,en-us;q=0.5,en;q=0.3',
            'Accept-Charset' => 'windows-1251,utf-8;q=0.7,*;q=0.7',
        ]
    );
    
    my $response = $lwp -> request ($req);
    print $response -> code ."\t". $_ ."\n";
}

Спасибо.

Это сообщение отредактировал(а) burakov - 30.12.2012, 01:55

--------------------

Нотный архив http://libnote.ru скачать ноты бесплатно

DurRandir

Дата 30.12.2012, 03:33 (ссылка)

(нет голосов)

Загрузка ...

Опытный

Профиль
Группа: Участник
Сообщений: 335
Регистрация: 27.9.2009

Репутация: 1
Всего: 17

Вас удивляет, что для кода 404 может быть отдано непустое тело ответа?) И что браузер его покажет?)

0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема \| Perl: разработка для Web \| Следующая тема »