Форум программистов [Powered by Invision Power Board]

Версия для печати темы
Нажмите сюда для просмотра этой темы в оригинальном формате

Форум программистов > Perl: Общие вопросы > Несовпадение кодировок для яндекса

Автор: Satell 5.1.2008, 13:56

из формы с текстовым полем name=word передаётся запрос для яндекса в скрипт обработчик, код ниже
но яндекс не понимает кодировку и говорит что запрос был пустой, похоже это происходит во время передачи формы на сервер, хотя
print $word; после передачи печатает слово правильно.

если раскаментить строчку #$word="грузовые перевозки";
то всё будет работать, где что нужно поменять, чтобы яндекс понимал слово переданное из формы, есть ли какие-нибудь функции для смены кодировок, подозреваю, что нужно перевести в кодировку utf-8, библиотека iconv на моём сервере похоже не стоит.

Код


#!/usr/bin/perl
use LWP::UserAgent;
use HTTP::Request::Common;


sub urldecode{
    local($val)=@_;
    $val=~s/\+/ /g;
    $val=~s/%([0-9a-hA-H]{2})/pack('C',hex($1))/ge;
    return $val;
}

if ($ENV{'REQUEST_METHOD'} eq 'GET') {
    $query=$ENV{'QUERY_STRING'};
}
elsif($ENV{'REQUEST_METHOD'} eq 'POST'){
    sysread(STDIN, $query, $ENV{'CONTENT_LENGTH'});
}

@formfields=split(/&/,$query);
foreach(@formfields){
if(/^word=(.*)/){$word=&urldecode($1);}
}

print "Content-Type: text/html; charset=windows-1251\n\n";
print $word;


#$word="грузовые перевозки";
$ua=LWP::UserAgent->new or die; #создаем новый объект LWP::userAgent (браузер)

$h1 = new HTTP::Headers
Accept => 'application/vnd.ms-excel, application/msword, image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/x-comet, */*',
User_Agent => 'testag',
Referer => 'http://ya.ru',
Accept-Language => 'ru',
Accept-Charset => 'iso-8859-1,*,utf-8,windows-1251';
$req1 = new HTTP::Request ('GET', 'http://www.yandex.ru/yandsearch?text='.$word, $h1);
$res=$ua->request($req1);



#проверяем был ли запрос удачен
$suc=$res->is_success;
if ($suc){
    print $res->content;
}

код формы:

Код


<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1" />
<title>Запрос</title>
</head>

<body>
<form action="cgi-bin/tests.cgi" method="post">
<p align="left">

<p align="left">
  <input type="text" name="word" size="26"></p>
<p><input type="submit" value="Send">
</p>
</form> 
</body>
</html>

Автор: nitr 5.1.2008, 20:11

Надо сделать "валидный" урл smile

Т.е. ваша ссылка не соответсвует стандарту smile

Это делает модуль URI::Escape, т.к. у вас кодировка windows-1251, то надо её в утф8 перевести smile

Для решения:

Satell, сделайте вот так
1) добавьте

Код


use URI::Escape 'uri_escape_utf8';
use Encode;

2) затем замените строку на эту

Код


$req1 = new HTTP::Request ('GET', 'http://www.yandex.ru/yandsearch?text='. uri_escape_utf8(Encode::decode('cp1251', $word)), $h1);

Автор: Bulat 24.1.2008, 18:13

Так в дополнение, сам в последнее время мучаюсь с проблемой кодировок и внимательно изучаю.

nitr, работа с модулем Encode хороший вариант. Только у меня стоит перл 5.8.6 и тут он начинает ругатся на недостаток каких-то модулей.

Более сложный, но самый верный вариант это заранее знать в какой кодировке загружаемая страница в браузере(как правило в utf-8), после чего получать исходный текст в текущей кодировке и пропускать через функцию uri_escape того же модуля URI::Escape. Способ не простой, но 100%. И кстати, все же далеко не все сайты написаны в кодировке utf-8 smile

Автор: nitr 24.1.2008, 22:33

Bulat, у него для формирования запроса к поисковику Яндекса, это конкретика. А для парсинга страничек и т.п. вообще не эта тема, их кстати тоже очень много раз обсуждали, как и что парсить, обсуждали и автоопределение кодировок.

А в этой теме вообще не видно парсинга, у него ошибка в формировании ССЫЛКИ smile

Я показал, как верно это сделать одним из простых способов.

P.S.: Если у вас проблема с модулем Encode, то можете создать тему smile

поможем всем нашим небольшим, но "качественным" коллективом ;)

Автор: Bulat 25.1.2008, 10:32

Цитата(nitr @ 24.1.2008, 22:33

)

Если у вас проблема с модулем Encode, то можете создать тему поможем всем нашим небольшим, но "качественным" коллективом ;)

Пасиба, я вообще-то научился решать проблемы и не прибегая к дополнительным модулям. Узнаешь много нового пока решаешь smile