VPF::Почему перестал работать CURL? - Форум программистов

Vetlblya

Дата 23.4.2013, 12:04 (ссылка)

(нет голосов)

Загрузка ...

Шустрый

Профиль
Группа: Участник
Сообщений: 65
Регистрация: 3.6.2009

Репутация: нет
Всего: нет

Привет всем!
Написал старый заказчик и я достал из закромов парсер госзакупок, но, к великому разочарованию, обнаружил, что парсер, который работал 5 месяцев назад перестал получать страницы.
Проблема в том, что вот этот кусок кода должен получить страницу с госзаккупок

Код


  $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL, 'http://www.zakupki.gov.ru/pgz/public/action/search/quick/run?currentSearchString=0148200000513000019');
    curl_setopt($ch, CURLOPT_TIMEOUT, 5000);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);

    while (!isset($res[0])){ 
        $st = curl_exec($ch); 
        preg_match('/<\/html>/', $st, $res);      
    }  
    curl_close($ch);
    
    echo $st;

а приходит вот такой код:

Код


<html>
<head>
    <META HTTP-EQUIV="Pragma" CONTENT="no-cache" charset=UTF-8">
    <title> Страница не найдена </title>

    <style type="text/css">
        body {
            background-color: #D5D5D5;
        }

        td {
            color: #666666;
            font-family: Arial, Helvetica, sans-serif;
            font-size: 11px;
        }

        button {
            border: 1px solid #D9D9D9;
            font-family: tahoma;
            font-size: 11px;
            font-size-adjust: none;
            font-stretch: normal;
            font-style: normal;
            font-variant: normal;
            font-weight: normal;
            line-height: normal;
            margin: 0;
            padding: 3px;
        }
    </style>
</head>

<body>

<table width="100%" height="100%" cellpadding="0" cellspacing="0">
    <tr>
        <td width="100%" valign="middle" align="center">

            <table cellpadding="0" cellspacing="0" border="0" style="background-color:white;">
                <tr>
                    <td>
                        <img src="/header_left.gif" alt="" style="padding:0;margin:0;border:0">
                    </td>
                </tr>
                <tr><td style="padding:20px;">
                    <table style="border:0;" width="100%">
                        <tr>
                            <td style="font-weight:bold;font-size:11px;" align="center" width="100%">
                                Запрашиваемая страница не существует.
                            </td>
                        </tr>

                        <tr>
                            <td width="100%" align="center">
                                <button onclick="location.href='http://zakupki.gov.ru/';">Перейти на главную страницу</button>
                            </td>
                        </tr>
                    </table>
                </td></tr>
            </table>
        </td>
    </tr>
</table>
</body>

</html>

Как я понимаю, сайт госзакупок приобрел какую-то защиту от парсинга. Как можно получить страницу с госзакупок сейчас?

Sanchezzz

Дата 23.4.2013, 12:39 (ссылка)

(нет голосов)

Загрузка ...

Эксперт

Профиль
Группа: Завсегдатай
Сообщений: 1670
Регистрация: 19.11.2006
Где: Voronezh

Репутация: 41
Всего: 60

Осталось проверить уровень защиты.

Включить в работу CURL куки
Подставить заголовок браузера например IE8
И посмотреть если результат тот же то значит проверить на другой машине скрипт например с локалке. Если заработало значит сервак в бан листе=). Поздравляю вас и служащих гос закупок, в движение прогресса

--------------------

Понравился ответ "+" по репе, не забываем закрывать тему, заказы в LS.

Vetlblya

Дата 23.4.2013, 13:21 (ссылка)

(нет голосов)

Загрузка ...

Шустрый

Профиль
Группа: Участник
Сообщений: 65
Регистрация: 3.6.2009

Репутация: нет
Всего: нет

Цитата(Sanchezzz @ 23.4.2013, 12:39)

куки пробовал, не прокатило( сейчас попробую с заголовками помудрить

Добавлено через 11 минут и 4 секунды

Цитата(Sanchezzz @ 23.4.2013, 12:39)

Спасибо тебе огромнейшее! заработало все после подстановки заголовка! Спасибо!

1 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема \| PHP: Общие вопросы \| Следующая тема »