Форум программистов [Powered by Invision Power Board]

Версия для печати темы
Нажмите сюда для просмотра этой темы в оригинальном формате

Форум программистов > PHP: Общие вопросы > Долго грузит Сайт и проблема с сокетами

Автор: EugenyPavlenko 9.4.2008, 22:14

Здравствуйте,

Все что мне нужно, это загрузить содержание сайта в массив по строчкам.

Делаю так:

Код


<?php
    //set_time_limit(2);
    
    $p = "www.mysite.com";
    
    $lines = file ( $p );
    
    foreach ($lines as $line_num => $line) {
        echo $line."\n";
    }
?>

Проблема в том, что скрипт грузится, отрабатывает ровно 15 секунд и только тогда
что-то выдает...

Я пробовал грузить сайты большого содержание (40000 символов) и совсем маленькие: 129 символов...

Те что маленькие и среднии они грузились 15 секунд и выводились А те которые побольше - занимало
15-20 секунди вывод...

Я не могу понять в чем дело: почему он ждет 15 секунд и потом начинает что-то делать?
или почему он тормозит? чего он ждет? Я планировал что он просто загрузит и сразу выведет..
т.е скорость работы зависит от размера загружаемого сайта... но грузить файл 129 байт 15 секунд....

Если предположить, что там лимит на выполнение скрипта 15 секунд, то зачем он все это время что-то там делает?

Пробовал установить лимит 2 секунды но мне выдалась ошибка что я не могу это сделать из-за какого-то safe_mode

Так же я пробовал действовать через сокеты:

Код


    $fp = fsockopen( $p, 80);
    
    if (!$fp) {
       echo "Unable to open\n";
    } else {
         while (!feof($fp)) {
            //echo fgets($fp, 128);
            echo fgets($fp);
        }
        
        fclose($fp);
    }

Выдает вот что:

Цитата

Warning: fsockopen() [function.fsockopen]: php_network_getaddresses: getaddrinfo failed: Name or service not known in /var/www/web67/html/call.php on line 23

Warning: fsockopen() [function.fsockopen]: unable to connect to www.mysite.com/123.html:80 (Unknown error) in /var/www/web67/html/call.php on line 23
Unable to open

23 строчка это там где сокет открывается....

Не подскажете как мне решить проблему 15-ти секунд и что там за недоразумение с сокетом?

Заранее спасибо!

Автор: Fortop 10.4.2008, 00:12

1. размер загружаемого сайта
2. время тратится на соединение твоего сайта с чужим, и только затем отдается информация тебе.
Т.е. еще скорость соединения.
3. Что у тебя содержится в $p?
Порт, вообще-то, задается вот так - http://www.mysite.com:8080/123.html или http://www.mysite.com:21/123.html
В зависимости от того, на какой ты подключаешься.

Автор: EugenyPavlenko 10.4.2008, 08:39

Fortop,

так что, он так долго соединяется с сервером?

в $p у меня название хоста как в цитате...

Менял на: www.mysite.com

- ошибка пропала, НО грузится он теперь 25 секунд и в ответ всегда выдает:

Код


<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">
<HTML><HEAD>
<META http-equiv=Content-Type content="text/html; charset=windows-1251"></HEAD>
<BODY></BODY></HTML>

Автор: MoLeX 10.4.2008, 09:21

Dzuchara, я уже в какойто теме вылаживал скрипт основоный на сокетах, поищи... (да и не я один вылаживал), время загрузки там не как 15 и 25... гораздно меньше...

Цитата(Fortop @ 10.4.2008, 00:12

)

время тратится на соединение твоего сайта с чужим, и только затем отдается информация тебе.

вот ответ почему так долго происходит

Добавлено через 5 минут и 42 секунды
во, еле как нашел

Код


<?php
class StealText
{
    public function UrlGetContents($url, $timeout = 5)
    {
        $url_parsed = parse_url($url);
        $host = $url_parsed["host"];
    
        if ($url == "" || $host == "") 
        {
            return false;
        }
    
        $hostName = gethostbyname($host);
        $ip = ip2long($hostName);
           
        if ($ip === -1 || $ip === false) 
        {
            return false;
        }
            
        $port = ($url_parsed["port"] == 0 ? 80 : $url_parsed["port"]);
        $path = (empty($url_parsed["path"]) ? "/" : $url_parsed["path"]);
        $path.= (!empty($url_parsed["query"]) ? "?".$url_parsed["query"] : "");
        $out = "GET ".$path." HTTP/1.0\r\nHost: ".$host."\r\nConnection: Close\r\n\r\n";
        $fp = fsockopen($host, $port, $errno, $errstr, intval($timeout));
            
        if (!$fp) 
        {
            return false;
        }
               
        stream_set_timeout($fp, intval($timeout));
        fwrite($fp, $out);
    
        $headers = "";
        $content = "";
        $buf = "";
        $isBody = false;
            
        while (!feof($fp)) 
        {
            $buf = fgets($fp, 1024);
            
            if ($isBody) 
            {
                $content .= $buf;
            } 
            else    
            {
                $headers .= $buf;
            }
                    
            if ($buf == "\r\n") 
            {
                $isBody = true;
            }
        }
               
        preg_match("#HTTP/1.[0-9]{1}\s+([0-9]{3}).*#is", $headers, $match);
        fclose($fp);
        if($match[1] != 200) 
        {
            return false;
        }
               
        return array("headers" => $headers, "body" => $content);
    }
    
    public function ErrorUrl()
    {
        echo "Хм, урл какой то кривой однако.";
    }
    
    public function PrintContents($msg, $Value)
    {
        if($Value == "true")
        {
            echo $msg.str_repeat("<br>", 3)."\n";
        }
    }
    
    public function PrintHeaders($msg, $Value)
    {
        if($Value == "true")
        {
            echo $msg;
        }
    }        
}



$go = new StealText();

if (($HTML = $go->UrlGetContents("http://www.mysite.com/index.php")) === false) 
{
    $go->ErrorUrl();
} 
else 
{
    $go->PrintHeaders($HTML["headers"], true);
    $go->PrintContents($HTML["body"], true);
}
?>

может и не пригодиться)

Автор: Fortop 10.4.2008, 12:01

Цитата(Dzuchara @ 10.4.2008, 08:39

)

- ошибка пропала, НО грузится он теперь 25 секунд и в ответ всегда выдает:

сходи сюда почитай по то, как устанавливать таймаут при соединении и чтении из сокетов.
http://ua2.php.net/manual/ru/function.fsockopen.php

Автор: capitan 10.4.2008, 12:28

Dzuchara, забудь про сокеты и исспользуй CURL http://ru2.php.net/manual/ru/function.curl-setopt.php

Автор: EugenyPavlenko 10.4.2008, 12:38

MoLeX,

твой скрипт грузит точно 20 сек. и ВЫВОДИТ! (сокеты заработали!)

Fortop,

никакой тайм-аут не помогает...

Добавлено через 12 минут
capitan,

Код


<?php
// инициализация сеанса
$ch = curl_init();

// установка URL и других необходимых параметров
curl_setopt($ch, CURLOPT_URL, "http://www.example.com/");
curl_setopt($ch, CURLOPT_HEADER, 0);

// загрузка страницы и выдача её браузеру
curl_exec($ch);

// завершение сеанса и освобождение ресурсов
curl_close($ch);
?>

ровно 15 секунд работает и выводит...

Меня смущает что РОВНО 15, не 12 и 13 и не 17, а всегда ровно 15.. странно...

Автор: mishaSL 10.4.2008, 13:24

Dzuchara, а если вариант с cUrl-ом попробовать:
http://forum.vingrad.ru/forum/topic-163191/kw-curl-%D1%81%D0%BE%D0%BA%D0%B5%D1%82%D1%8B-fsockopen.html

Автор: Fortop 10.4.2008, 14:58

Цитата(Dzuchara @ 10.4.2008, 12:38

)

никакой тайм-аут не помогает...

У сокетов есть 2ва вида таймаута.
1. Таймаут на коннект
2. на чтение запись потока http://ua2.php.net/manual/ru/function.stream-set-timeout.php

3. Насчет 15 секунд smile

ты ведь один и тот же сайт читаешь? Если он не меняется - то в этом нет ничего удивительного.
Попробуй прочесть с другого сайта, например www.google.com
И посмотри на результат.

И вообще, в чем конкретно у тебя задача? Зачем тебе читать страницу в массив?

Автор: EugenyPavlenko 10.4.2008, 17:34

Всем большое спасибо!

Вы не поверите, но сейчас запускаю те же скрипты, но работают уже как надо - практически моментом... не пойму в чем дело.
Наверное хостер что-то исправил....

Кстати на google.com наверное какая-то блокировка, потому что пишет вот что:

Код


print "Адрес <b>".$urlAddress."</b> в данный момент недоступен";

Использую этот код:

Код


    function urlGetContents($url, $timeout = 8)
    {
       $url_parsed = parse_url($url);
       $host = $url_parsed["host"];

       if ($url == '' || $host == '') {
           return false;
       }
       $hostName = gethostbyname($host);
       $ip = ip2long($hostName);
       if ($ip === -1 || $ip === false) {
            return false;
       }
       $port = ($url_parsed["port"] == 0 ? 80 : $url_parsed["port"]);
       $path = (empty($url_parsed["path"]) ? '/' : $url_parsed["path"]);
       $path.= (!empty($url_parsed["query"]) ? '?'.$url_parsed["query"] : '');
       $out = "GET $path HTTP/1.0\r\nHost: $host\r\nConnection: Close\r\n\r\n";
       $fp = fsockopen($host, $port, $errno, $errstr, intval($timeout));
       if (!$fp) {
           return false;
       }
       stream_set_timeout($fp, intval($timeout));
       fwrite($fp, $out);

       $headers = '';
       //$content = '';
       $content = array();
       $buf = '';
       $isBody = false;
       while (!feof($fp)) {
            //$buf = fgets($fp, 1024);
            $buf = fgets($fp);
            if ($isBody) {
                //$content .= $buf;
                $content[] = $buf;
            } else {
                $headers .= $buf;
            }
            if ($buf == "\r\n" ) {
                $isBody = true;
            }
       }
       preg_match('#HTTP/1.[0-9]{1}\s+([0-9]{3}).*#is', $headers, $match);
       fclose($fp);
       if($match[1] != 200) {
           return false;
       }
       return array('headers'=>$headers,'body'=>$content);
    }

Fortop,

Цитата

И вообще, в чем конкретно у тебя задача? Зачем тебе читать страницу в массив?

А зачем мне читать страницу просто так? smile

Я читаю в массив, чтобы сделать кое-какие преобразования (вставить свой сервис) и вывести.

Моя задача: предоставление одного сервиса...

НО: Для клиента_моего_клиента, когда он заходит на сайт моего_клиента, все должно выглядеть так,
как будто сервис работает с сайта_клиента... т.е все содержание сайта_клиента должно оставаться + выводится мой сервис...

По-этому когда к_м_к заходит на сайт м_к и жмет что-то на подобие "сабмит" идет запрос мой сайт,
который берет содержание страницы откуда пришел к_м_к, обрабатывает его (вставляет в нужное место нужный код)
и выводит... К_м_к кажется, что он остался на сайте м_к, но в УРЛ прописан уже мой сайт (недостаток).

Я хотел делать через Ифрейм - но он глючит.
Еще можно делать простым попАпом, но попапы не все любят, не всем подходят..
Еще хотел делать Аяксом, но оказывается политика безопасности не позволяет грузить содержимое др. сайтов...
А у этого варианта (при умелой реализации) только недостаток только то что в УРЛ будет уже мой прописан...

Anyway, всем огромное спасибо!

П.С: я все-таки надеюсь, что это мой хостер исправил, а не "само" исправилось.