VPF::Подмена кукисов парсера - Форум программистов

BuShaRt

Дата 15.7.2007, 15:25 (ссылка)

(нет голосов)

Загрузка ...

Эксперт

Профиль
Группа: Завсегдатай
Сообщений: 1391
Регистрация: 29.6.2006

Репутация: 4
Всего: 6

У меня есть парсер HTML страничек, он работает через функцию file(), просто грабя контент со странички, но возникла проблема вот с этим с одним сайто (ссылка).
На нем есть переход на разные языки, причем, как я понял, переход осуществляеться через пометку в кукисах, при этом ссылка остаеться той же, что и для других языков...
Проблема в том, что функция file() грабит только русскую версию. Реально ли сделать так, чтоб я мог автоматизировать парсер и на иноязычные версии?

Golda

Дата 15.7.2007, 15:44 (ссылка)

(нет голосов)

Загрузка ...

Опытный

Профиль
Группа: Участник
Сообщений: 460
Регистрация: 26.3.2007
Где: Ариель, Израиль

Репутация: 20
Всего: 42

Самое простое, на мой взгляд - использовать CURL и там, для подхвата cookies настроить CURLOPT_COOKIEFILE и CURLOPT_COOKIEJAR

--------------------

"For every problem, there exists a simple and elegant solution which is absolutely wrong." -- J. Wagoner, U.C.B. Mathematics

BuShaRt

Дата 15.7.2007, 17:21 (ссылка)

(нет голосов)

Загрузка ...

Эксперт

Профиль
Группа: Завсегдатай
Сообщений: 1391
Регистрация: 29.6.2006

Репутация: 4
Всего: 6

кукисы выдрал из папочки, кинул в папку со скриптом, запустил

Код


$ch_auth = curl_init();
curl_setopt($ch_auth, CURLOPT_URL, "http://baltma.ru/");
curl_setopt($ch_auth, CURLOPT_COOKIEFILE, 'bushart.txt');
$buffer_auth = curl_exec($ch_auth);

фиг- не работает smile

И как занести данные в переменную, не выводя их на экран?

Golda

Дата 15.7.2007, 17:36 (ссылка)

(нет голосов)

Загрузка ...

Опытный

Профиль
Группа: Участник
Сообщений: 460
Регистрация: 26.3.2007
Где: Ариель, Израиль

Репутация: 20
Всего: 42

CURLOPT_COOKIEFILE позволяет задать файл, из которого нужно брать куки для пересылки в request. Для принимаемых кук используют CURLOPT_COOKIEJAR. Нужно настроить их на один и тот же файл. Тогда тое куки, что придут в ответ на первый запрос, будут посланы при следующем запросе.

Чтобы занести в переменную, нужно использовать CURLOPT_RETURNTRANSFER

Это сообщение отредактировал(а) Golda - 15.7.2007, 17:36

--------------------

"For every problem, there exists a simple and elegant solution which is absolutely wrong." -- J. Wagoner, U.C.B. Mathematics

BuShaRt

Дата 15.7.2007, 18:17 (ссылка)

(нет голосов)

Загрузка ...

Эксперт

Профиль
Группа: Завсегдатай
Сообщений: 1391
Регистрация: 29.6.2006

Репутация: 4
Всего: 6

Вывод заблокировался, но кукисы не жует все равно, страница как была на русском так и остаеться...

Код


$ch_auth = curl_init();
curl_setopt($ch_auth, CURLOPT_URL, "http://baltma.ru/");
curl_setopt($ch_auth, CURLOPT_COOKIEJAR, 'bushart.txt');
curl_setopt($ch_auth, CURLOPT_COOKIEFILE, 'bushart.txt');
curl_setopt($ch_auth, CURLOPT_RETURNTRANSFER, 1);
$buffer_auth = curl_exec($ch_auth);
print $buffer_auth;
curl_close($ch_auth);

BuShaRt

Дата 15.7.2007, 19:40 (ссылка)

(нет голосов)

Загрузка ...

Эксперт

Профиль
Группа: Завсегдатай
Сообщений: 1391
Регистрация: 29.6.2006

Репутация: 4
Всего: 6

Цитата(Golda @ 15.7.2007, 17:36

)

CURLOPT_COOKIEFILE позволяет задать файл, из которого нужно брать куки для пересылки в request.

так мне это и нужно, я файл с кукисами взял из кладовой ослика и мне его нужно подргрузить... В нем прописанна английская версия 100%, я даже смотрел...

Golda

Дата 16.7.2007, 08:05 (ссылка)

(нет голосов)

Загрузка ...

Опытный

Профиль
Группа: Участник
Сообщений: 460
Регистрация: 26.3.2007
Где: Ариель, Израиль

Репутация: 20
Всего: 42

А... так там cookie меняются javascript'ом. Тогда сервер их не поставит. Все равно менять вручную придется. Тогда уж проще прямо cookie задавать опцией CURLOPT_COOKIE

Код


$curl = curl_init();
curl_setopt($curl, CURLOPT_HEADER, 0);
curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);
curl_setopt($curl, CURLOPT_COOKIE, "lang=eng; expires=Thu, 13-Jul-2017 04:56:01  GMT; path=/; domain=baltma.ru");
curl_setopt($curl, CURLOPT_URL, "http://baltma.ru/"); # this is where you first time connect - GET method authorization in my case, if you have POST - need to edit code a bit
$xxx = curl_exec($curl);
if (curl_errno($curl)) {
    echo curl_error($curl);
} else {
    echo $xxx;
}
curl_close($curl);

Так должно работать. Меняйте значение lang в cookie и получайте страницу на каком хотите языке.

Если возникнут проблемы, добавьте еще на всякий случай CURLOPT_USERAGENT (некоторые сайты проверяют наличие header User-Agent). Реже, но иногда требуется CURLOPT_REFERER и (на случай, разнообрвзных пересылок) можно включить CURLOPT_FOLLOWLOCATION

Это сообщение отредактировал(а) Golda - 16.7.2007, 08:07

--------------------

"For every problem, there exists a simple and elegant solution which is absolutely wrong." -- J. Wagoner, U.C.B. Mathematics

BuShaRt

Дата 16.7.2007, 08:20 (ссылка)

(нет голосов)

Загрузка ...

Эксперт

Профиль
Группа: Завсегдатай
Сообщений: 1391
Регистрация: 29.6.2006

Репутация: 4
Всего: 6

Golda,
Огромное спасибо, вы меня очень выручели, я уж думал придеться все вручную перебивать smile

0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема \| PHP: Общие вопросы \| Следующая тема »