Форум программистов [Powered by Invision Power Board]

Версия для печати темы
Нажмите сюда для просмотра этой темы в оригинальном формате

Форум программистов > PHP: Общие вопросы > Курсы валют

Автор: Ripper 12.12.2013, 00:05

Объясните пожалуйста, вот я хочу спарсить курс валют. http://www.cbr.ru/scripts/XML_daily.asp вот как бы XML. Все хорошо, но есть две проблемы

1. Сайт ЦБ РФ лежит пол дня постоянно
2. Когда он не лежит то используя любые ф-ии типа file_get_contents или simplexml_load_file я получаю connection refused, причем я особо не спамил, с разных компов заходил и получал одно и то же.

Я вообще никак не могу понять откуда достать курс ЦБ РФ в XML или JSON. Парсить сайты не хочется. Причем курс нужно получать часто, поэтому я его хочу закешировать где нибудь, и скажем раз в час обновлять, но я даже ни разу не могу получить этот курс. Такое чувство что я чего то не понимаю, но уже бесит честно говоря =\ У меня задача такая что на сайт будут стучаться каждые 30 секунд за этим курсом, допустим я его кеширую на часов 6, но мне нужно очень долго долбится чтобы получить xml-ку, и будет момент простоя пока я буду долбится чтобы положить в кеш ...

smile

Автор: Sanchezzz 12.12.2013, 00:23

А если сказать что я браузер?)

Код


    function get_curl_content($ch,$url, $params_curl = false){
        curl_setopt_array($ch ,array(
            CURLOPT_USERAGENT, "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.94 Safari/537.36",
            CURLOPT_URL            => $url,
            //CURLOPT_ENCODING => 'gzip',
            CURLOPT_RETURNTRANSFER => 1,
            CURLOPT_FOLLOWLOCATION => 1,
            CURLOPT_CONNECTTIMEOUT => 20,
            CURLOPT_TIMEOUT        => 30,
            CURLOPT_SSL_VERIFYPEER => 0,
            CURLOPT_SSL_VERIFYHOST => 0
        ));
        if($params_curl) curl_setopt_array($ch , $params_curl);
        $content = (string)curl_exec( $ch );
        return $content;
    }
$ch = curl_init();
$xml_str =  get_curl_content($ch,'http://www.cbr.ru/scripts/XML_daily.asp ');
curl_close($ch);

Автор: Ripper 12.12.2013, 00:37

Ща проверю... если это заработает то я прям расплачусь от счастья)
Только вот щас CBR отпустит (он не доступен опять у меня)

Ну вот в браузере (когда сайт не лежит) открывается всегда, в PHP раза 3 из 30 проскочило) я просто вывел $xml_str

Автор: krypt3r 12.12.2013, 06:46

У меня в кроне скрипт с курлом нормально работает вот уже 1.5-2 года. Курл вот с такими настройками

Код


curl_setopt ($c, CURLOPT_URL, $url);
curl_setopt ($c, CURLOPT_USERAGENT, 'Googlebot/2.1');
curl_setopt ($c, CURLOPT_REFERER, 'http://www.cbr.ru/');
curl_setopt ($c, CURLOPT_FOLLOWLOCATION, 1);
curl_setopt ($c, CURLOPT_RETURNTRANSFER, 1);

Автор: Ripper 12.12.2013, 10:08

Блин, что-то совсем не то.

Код


    private function get_curl_content($ch, $url) {
        curl_setopt ($ch, CURLOPT_URL, $url);
        curl_setopt ($ch, CURLOPT_USERAGENT, 'Googlebot/2.1');
        curl_setopt ($ch, CURLOPT_REFERER, 'http://www.cbr.ru/');
        curl_setopt ($ch, CURLOPT_FOLLOWLOCATION, 1);
        curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);

        $exec = curl_exec($ch);
        if ($exec === false) {
            dd(curl_error($ch));
        } else {
            $content = (string)curl_exec( $ch );
            dd($content);
        }
        return $content;
    }

Вот функция. Вызываю

Код


        $ch = curl_init();
        $xml_str =  $this->get_curl_content($ch,'http://www.cbr.ru/scripts/XML_daily.asp ');

Открываю в ФФ сам сайт - ХМЛ открывается. Открываю свой скрипт - 1 из 20 раз выдает ХМЛ, остальное время
curl_error(...) string (24) "couldn't connect to host"

Автор: doctor2k 14.12.2013, 03:21

Рефакторинг - просто странное слово?

Вместо вот этого вот:

Код


 $exec = curl_exec($ch);
        if ($exec === false) {
            dd(curl_error($ch));
        } else {
            $content = (string)curl_exec( $ch );
            dd($content);
        }
        return $content;

попробуй сделать так:

Код


$response = curl_exec( $ch );

        $result = array();
        $result[ 'info' ] = curl_getinfo( $ch );

        if( curl_errno( $ch ) ):
            $result[ 'error' ] = curl_error( $ch );
        else:
            $result[ 'data' ] = $response;
        endif;

        curl_close( $ch );
        return $result;

на выходе получишь массив вида:

Код


array (
    [info] => ... , // заголовки и прочая фигня
    [error] => ... , // ошибка (если есть)
    [data] => ... // то шо надо, если нет ошибок
)

Добавлено через 2 минуты и 2 секунды
Да, и пример валидных опций:

Код


$curlOptions = array(   
         CURLOPT_AUTOREFERER => TRUE,
            CURLOPT_RETURNTRANSFER => TRUE,
            CURLOPT_FOLLOWLOCATION => TRUE,
            CURLOPT_USERAGENT => 'Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.8.0.9) Gecko/20061206 Firefox/1.5.0.9',
            // CURLOPT_CONNECTTIMEOUT => 3,
            CURLOPT_HEADER => FALSE,
            CURLOPT_VERBOSE => FALSE,
            CURLOPT_HTTPHEADER => array( "Accept: text/xml,application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5", "Accept-Language: ru-ru,ru;q=0.7,en-us;q=0.5,en;q=0.3", "Accept-Charset: windows-1251,utf-8;q=0.7,*;q=0.7", "Keep-Alive: 300" ),
            CURLOPT_SSL_VERIFYPEER => FALSE,
            CURLOPT_SSL_VERIFYHOST => FALSE
        );

обрати внимание, что таймаут тут не шутки ради закомменчен. при нестабильной работе сети это помогает