Версия для печати темы
Нажмите сюда для просмотра этой темы в оригинальном формате
Форум программистов > PHP: Для профи > Multi cURL, xmlsitemap, постоянный рост RAM


Автор: Psytodelist 6.5.2012, 22:09
Здравствуйте! Есть класс для создания xml-карты сайта:
Код

<?php
//echo $uniqid;
class sitemap
{
    private $sitemap_urls = array();
    private $base;
    private $protocol;
    private $domain;
    private $check = array();
    private $proxy = "";
    

    public function set_ignore($ignore_list){
        $this->check = $ignore_list;
    }

    public function set_proxy($host_port){
        $this->proxy = $host_port;
    }

    private function validate($url){
        $valid = true;

        foreach($this->check as $val)
        {
            if(stripos($url, $val) !== false)
            {
                $valid = false;
                break;
            }
        }
        return $valid;
    }
    

    private function multi_curl($urls){

        $curl_handlers = array();

        foreach ($urls as $url) 
        {
            $curl = curl_init();
            curl_setopt($curl, CURLOPT_URL, $url);
            curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
            if (isset($this->proxy) && !$this->proxy == '') 
            {
                curl_setopt($curl, CURLOPT_PROXY, $this->proxy);
            }
            $curl_handlers[] = $curl;
        }

        $multi_curl_handler = curl_multi_init();
    

        foreach($curl_handlers as $key => $curl)
        {
            curl_multi_add_handle($multi_curl_handler,$curl);
        }
        

        do 
        {
            $multi_curl = curl_multi_exec($multi_curl_handler, $active);
        } 
        while ($multi_curl == CURLM_CALL_MULTI_PERFORM  || $active);
        
        foreach($curl_handlers as $curl)
        {

            if(curl_errno($curl) == CURLE_OK)
            {

                $content = curl_multi_getcontent($curl);

                $this->parse_content($content);
            }
        }
        curl_multi_close($multi_curl_handler);
        return true;
    }


    public function get_links($domain){
        
        $this->base = str_replace("http://", "", $domain);
        $this->base = str_replace("https://", "", $this->base);
        $host = explode("/", $this->base);
        $this->base = $host[0];

        $this->domain = trim($domain);
        if(strpos($this->domain, "http") !== 0)
        {
            $this->protocol = "http://";
            $this->domain = $this->protocol.$this->domain;
        }
        else
        {
            $protocol = explode("//", $domain);
            $this->protocol = $protocol[0]."//";
        }
        
        if(!in_array($this->domain, $this->sitemap_urls))
        {
            $this->sitemap_urls[] = $this->domain;
        }

        $curl = curl_init();
        curl_setopt($curl, CURLOPT_URL, $this->domain);
        if (isset($this->proxy) && !$this->proxy == '') 
        {
            curl_setopt($curl, CURLOPT_PROXY, $this->proxy);
        }
        curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
        $page = curl_exec($curl);
        curl_close($curl);
        $this->parse_content($page);
    }
    

    private function parse_content($page){

        preg_match_all("/<a[^>]*href\s*=\s*'([^']*)'|".
                    '<a[^>]*href\s*=\s*"([^"]*)"'."/is", $page, $match);

        $new_links = array();
        for($i = 1; $i < sizeof($match); $i++)
        {

            foreach($match[$i] as $url)
            {

                if(strpos($url, "http") === false  && trim($url) !== "")
                {

                    if($url[0] == "/") $url = substr($url, 1);

                    else if($url[0] == ".")
                    {
                        while($url[0] != "/")
                        {
                            $url = substr($url, 1);
                        }
                        $url = substr($url, 1);
                    }

                    $url = $this->protocol.$this->base."/".$url;
                }

                if(!in_array($url, $this->sitemap_urls) && trim($url) !== "")
                {

                    if($this->validate($url))
                    {

                        if(strpos($url, "http://".$this->base) === 0 || strpos($url, "https://".$this->base) === 0)
                        {

                            $this->sitemap_urls[] = $url;
                            
                             mysql_query("UPDATE scans SET lastlink='".$url."', linkcounter=linkcounter+1");

                            $new_links[] = $url;
                        }
                    }
                }
            }
        }
        $this->multi_curl($new_links);
        return true;
    }


    public function get_array(){
        return $this->sitemap_urls;
    }


    public function generate_sitemap(){
        $sitemap = new SimpleXMLElement('<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"></urlset>');
        foreach($this->sitemap_urls as $url) 
        {
            $url_tag = $sitemap->addChild("url");
            $url_tag->addChild("loc", htmlspecialchars($url));
        }
        return $sitemap->asXML();
    }
}
?>

При сканировании ссылок больших сайтов, скрипт упирается в memory_limit,
в этот момент приблизительно выходит спарсено около 5000 ссылок (128М), увеличил до (500М) - 21000 ссылок.

Когда я пользовался простым curl, парсил большие каталоги,
то подобного постоянного роста RAM я не замечал.
Данные заносились в БД.

Тут же мы видем, что данные сохраняются в переменной.
Именно это вызывает рост потребляемой оперативной памяти или что-то другое?
Посоветуйте, пожалуйста, как оптимизировать данный класс. Благодарю.

Автор: Wolf1994 7.5.2012, 11:00
Цитата(Psytodelist @  6.5.2012,  22:09 Найти цитируемый пост)
Тут же мы видем, что данные сохраняются в переменной.
Именно это вызывает рост потребляемой оперативной памяти или что-то другое?

Можно узнать, закомментировав сохранение данных:

Код

//            $url_tag = $sitemap->addChild("url");
//            $url_tag->addChild("loc", htmlspecialchars($url));


Цитата(Psytodelist @  6.5.2012,  22:09 Найти цитируемый пост)
  mysql_query("UPDATE scans SET lastlink='".$url."', linkcounter=linkcounter+1");

То же можно записывать в переменную, а в SQL - после выполенения класса.

Автор: Wolf1994 7.5.2012, 11:41
Цитата(Psytodelist @  6.5.2012,  22:09 Найти цитируемый пост)
Именно это вызывает рост потребляемой оперативной памяти или что-то другое?

Размер ссылки почти всегда не больше четверти килобайта. 21000 / 4 = 5 Мб.

Ошибка в том, что скрипт обрабатывает новые ссылки, не закончив обработку уже имеющихся. То есть, одновременно создаёт очень много запросов через cURL.

Автор: Wolf1994 7.5.2012, 11:59
Решение.

Код

    private $sitemap_urls = array();
    private $new_links = array();// Объявить new_links на глобальном уровне

    private function parse_content($page){
...
//       $this->multi_curl($new_links); - закомментировать


multi_curl($new_links); вызывать после каждого выполнения multi_curl (), при условии, что массив не пустой, очищая  $new_links перед обращением:

Код

while (sizeof ($new_links)>0)
{
 $new_links_tmp=$new_links;
 unset ($new_links);
 private $new_links = array();// Не владею ООП и не уверен, что правильно так
 multi_curl($new_links_tmp);
 unset ($new_links_tmp);
}

Автор: Psytodelist 7.5.2012, 12:42
Цитата(Wolf1994 @ 7.5.2012,  11:00)
Цитата(Psytodelist @  6.5.2012,  22:09 Найти цитируемый пост)
Тут же мы видем, что данные сохраняются в переменной.
Именно это вызывает рост потребляемой оперативной памяти или что-то другое?

Можно узнать, закомментировав сохранение данных:

Код

//            $url_tag = $sitemap->addChild("url");
//            $url_tag->addChild("loc", htmlspecialchars($url));


Цитата(Psytodelist @  6.5.2012,  22:09 Найти цитируемый пост)
  mysql_query("UPDATE scans SET lastlink='".$url."', linkcounter=linkcounter+1");

То же можно записывать в переменную, а в SQL - после выполенения класса.

Код

//            $url_tag = $sitemap->addChild("url");
//            $url_tag->addChild("loc", htmlspecialchars($url));


- это вообще вызывается по завершении
программы, идет форматирование массива ссылок в XML

Цитата(Psytodelist @  6.5.2012,  22:09 Найти цитируемый пост)
  mysql_query("UPDATE scans SET lastlink='".$url."', linkcounter=linkcounter+1");

Что именно записывать в переменную? Зачем?
Это счетчик для AJAX, чтобы видеть прогресс в реальном времени.
Забыл дописать WHERE uniqid='$uniqid' , но это не страшно.

Добавлено через 2 минуты и 8 секунд
Цитата(Wolf1994 @ 7.5.2012,  11:59)
Решение.

Код

    private $sitemap_urls = array();
    private $new_links = array();// Объявить new_links на глобальном уровне

    private function parse_content($page){
...
//       $this->multi_curl($new_links); - закомментировать


multi_curl($new_links); вызывать после каждого выполнения multi_curl (), при условии, что массив не пустой, очищая  $new_links перед обращением:

Код

while (sizeof ($new_links)>0)
{
 $new_links_tmp=$new_links;
 unset ($new_links);
 private $new_links = array();// Не владею ООП и не уверен, что правильно так
 multi_curl($new_links_tmp);
 unset ($new_links_tmp);
}

Цитата

// Не владею ООП и не уверен, что правильно так


Спасибо хоть за попытку помочь, 
а-то гуры-партизаны или их вообще тут нет.

Автор: Fortop 7.5.2012, 13:07
Psytodelist, лень

Проблема собственно в том, что не очищается какая-то из переменных в процессе циклов.
А искать ее желания нет smile

Попробуйте делать unset объектам связанным с запросами после каждых 5000 (или сколько у вас там) ссылок.

Автор: Wolf1994 7.5.2012, 14:28
Цитата(Psytodelist @  7.5.2012,  12:42 Найти цитируемый пост)
- это вообще вызывается по завершении

Потому и зачеркнул ответ (надо было стереть, наверно).

Цитата(Psytodelist @  7.5.2012,  12:42 Найти цитируемый пост)
Что именно записывать в переменную? Зачем?

21000 UPDATE'ов не займут памяти, но немного (в зависимости от "железа" и типа таблицы) нагрузят систему без особой на то необходимости (для AJAX'а хватит и записи в файл и не на каждой итерации).

Цитата(Psytodelist @  7.5.2012,  12:42 Найти цитируемый пост)
Спасибо хоть за попытку помочь, 
а-то гуры-партизаны или их вообще тут нет. 

Вопрос не имеет отношения к уровню владения языком, а связан с алгоритмом, который создаёт многоуровневую параллельную обработку, вместо последовательной.

Имел в виду, что не знаю, как пересоздавать массив при объектно-ориентированном стиле.

Автор: Psytodelist 7.5.2012, 16:47
Wolf1994, я приблизительно понял в чем причина.
Проштудировал весь код memory_get_usage()
и выяснил, что память занимают переменные,
которые получают результат от curl_exec() и curl_multi_exec() .
Т.е. переменные $page = curl_exec($curl); и $multi_curl = curl_multi_exec($multi_curl_handler, $active); 
А это - целые страницы... Теперь попробую как-то это дело исправить.  smile

Автор: Wolf1994 7.5.2012, 17:05
Цитата(Psytodelist @  7.5.2012,  16:47 Найти цитируемый пост)

Т.е. переменные $page = curl_exec($curl); и $multi_curl = curl_multi_exec($multi_curl_handler, $active); 

Да, из-за того, что каждая ссылка ведёт к созданию новых cURL запросов, которые создают под-запросы и так до бесконечности (в зависимости от структуры сайта и количества ссылок) - поэтому выделятся память под всё это и на стороне cURL и на PHP: под переменные, которые получают по нему страницы.

Автор: Psytodelist 7.5.2012, 17:16
Цитата(Wolf1994 @ 7.5.2012,  17:05)
Цитата(Psytodelist @  7.5.2012,  16:47 Найти цитируемый пост)

Т.е. переменные $page = curl_exec($curl); и $multi_curl = curl_multi_exec($multi_curl_handler, $active); 

Да, из-за того, что каждая ссылка ведёт к созданию новых cURL запросов, которые создают под-запросы и так до бесконечности (в зависимости от структуры сайта и количества ссылок) - поэтому выделятся память под всё это и на стороне cURL и на PHP: под переменные, которые получают по нему страницы.

Походу ему все-равно на то, что я поставил unset-ы

curl_multi_close($multi_curl_handler);
unset($multi_curl, $content);

$this->parse_content($page);
unset($page);

 smile 

Автор: Wolf1994 7.5.2012, 17:42
Цитата(Psytodelist @  7.5.2012,  17:16 Найти цитируемый пост)
Походу ему все-равно на то, что я поставил unset-ы

Потому что unset'ы срабатывают после вложенного запроса. То есть, $content через $this->parse_content($content); сначала передаётся в функцию parse_content, которая снова обращается к функции multi_curl и только по возвращению из последней происходит unset переданной переменной.

Автор: Psytodelist 7.5.2012, 17:45
Цитата(Wolf1994 @ 7.5.2012,  17:42)
Цитата(Psytodelist @  7.5.2012,  17:16 Найти цитируемый пост)
Походу ему все-равно на то, что я поставил unset-ы

Потому что unset'ы срабатывают после вложенного запроса. То есть, $content через $this->parse_content($content); сначала передаётся в функцию parse_content, которая снова обращается к функции multi_curl и только по возвращению из последней происходит unset переданной переменной.

Ага, точно. Исправить это надежды нет?

Добавлено через 4 минуты и 53 секунды
strlen-ом проверил переменную $content.
Именно она, зараза, кушает оперативку.
И как её ансетить при устовии многопоточной рекурсии, 
если можно это так назвать, я не знаю  smile 

Автор: Psytodelist 7.5.2012, 18:03
unset($page);
в конце скрипта - помогает,
а unset($content); - нет
unset($page); удаляет самое первое обращение к странице
посредством простого курла. А когда я пишу unset($content);
он не поймет же. Или поймет и-то в том цикле и-то если
успеет закончится рекурсия.  smile

Автор: Wolf1994 7.5.2012, 18:19
Цитата(Psytodelist @  7.5.2012,  17:45 Найти цитируемый пост)
Ага, точно. Исправить это надежды нет?


Код

<?php
//echo $uniqid;
class sitemap
{
    private $sitemap_urls = array();
    private $new_links = array();
    private $new_links_i = 0;
    private $base;
    private $protocol;
    private $domain;
    private $check = array();
    private $proxy = "";
    
    public function set_ignore($ignore_list){
        $this->check = $ignore_list;
    }
    public function set_proxy($host_port){
        $this->proxy = $host_port;
    }
    private function validate($url){
        $valid = true;
        foreach($this->check as $val)
        {
            if(stripos($url, $val) !== false)
            {
                $valid = false;
                break;
            }
        }
        return $valid;
    }
    
    private function multi_curl($urls){
        $curl_handlers = array();
//        foreach ($urls as $url) 
        for ($i=0; $i<$new_links_i; $i++)
        {
            $curl = curl_init();
            curl_setopt($curl, CURLOPT_URL, $urls [$i]);
            curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
            if (isset($this->proxy) && !$this->proxy == '') 
            {
                curl_setopt($curl, CURLOPT_PROXY, $this->proxy);
            }
            $curl_handlers[] = $curl;
        }
        $multi_curl_handler = curl_multi_init();
    
        foreach($curl_handlers as $key => $curl)
        {
            curl_multi_add_handle($multi_curl_handler,$curl);
        }
        
        do 
        {
            $multi_curl = curl_multi_exec($multi_curl_handler, $active);
        } 
        while ($multi_curl == CURLM_CALL_MULTI_PERFORM  || $active);
        
        foreach($curl_handlers as $curl)
        {
            if(curl_errno($curl) == CURLE_OK)
            {
                $content = curl_multi_getcontent($curl);
                $this->parse_content($content);
            }
        }
        curl_multi_close($multi_curl_handler);
        return true;
    }
    public function get_links($domain){
        
        $this->base = str_replace("http://", "", $domain);
        $this->base = str_replace("https://", "", $this->base);
        $host = explode("/", $this->base);
        $this->base = $host[0];
        $this->domain = trim($domain);
        if(strpos($this->domain, "http") !== 0)
        {
            $this->protocol = "http://";
            $this->domain = $this->protocol.$this->domain;
        }
        else
        {
            $protocol = explode("//", $domain);
            $this->protocol = $protocol[0]."//";
        }
        
        if(!in_array($this->domain, $this->sitemap_urls))
        {
            $this->sitemap_urls[] = $this->domain;
        }
        $curl = curl_init();
        curl_setopt($curl, CURLOPT_URL, $this->domain);
        if (isset($this->proxy) && !$this->proxy == '') 
        {
            curl_setopt($curl, CURLOPT_PROXY, $this->proxy);
        }
        curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
        $page = curl_exec($curl);
        curl_close($curl);

        $this->parse_content($page);

        while ($new_links_i>0)
        {
         $new_links_i=0;
         multi_curl($new_links);
        }
    }
    
    private function parse_content($page){
        preg_match_all("/<a[^>]*href\s*=\s*'([^']*)'|".
                    '<a[^>]*href\s*=\s*"([^"]*)"'."/is", $page, $match);
//        $new_links = array();
        for($i = 1; $i < sizeof($match); $i++)
        {
            foreach($match[$i] as $url)
            {
                if(strpos($url, "http") === false  && trim($url) !== "")
                {
                    if($url[0] == "/") $url = substr($url, 1);
                    else if($url[0] == ".")
                    {
                        while($url[0] != "/")
                        {
                            $url = substr($url, 1);
                        }
                        $url = substr($url, 1);
                    }
                    $url = $this->protocol.$this->base."/".$url;
                }
                if(!in_array($url, $this->sitemap_urls) && trim($url) !== "")
                {
                    if($this->validate($url))
                    {
                        if(strpos($url, "http://".$this->base) === 0 || strpos($url, "https://".$this->base) === 0)
                        {
                            $this->sitemap_urls[] = $url;
                            
                             mysql_query("UPDATE scans SET lastlink='".$url."', linkcounter=linkcounter+1");
                            $new_links[$new_links_i] = $url;
                            $new_links_i++;
                        }
                    }
                }
            }
        }

//        $this->multi_curl($new_links);
        return true;
    }
    public function get_array(){
        return $this->sitemap_urls;
    }
    public function generate_sitemap(){
        $sitemap = new SimpleXMLElement('<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"></urlset>');
        foreach($this->sitemap_urls as $url) 
        {
            $url_tag = $sitemap->addChild("url");
            $url_tag->addChild("loc", htmlspecialchars($url));
        }
        return $sitemap->asXML();
    }
}
?>


Есть, изменив параллельную работу на последовательную. Не проверял, но логику можно понять.

Ключевые изменения:
Код

// Прерывание рекурсии
//        $this->multi_curl($new_links);


Код

// Последовательный вызов multi_curl для каждого массива ссылок
        while ($new_links_i>0)
        {
         $new_links_i=0;
         multi_curl($new_links);
        }

Автор: Psytodelist 7.5.2012, 18:21
Код

  $uniqcontentid = md5(uniqid(rand(), true));
                $GLOBALS['content'][$uniqcontentid] = curl_multi_getcontent($curl);
                
                $this->parse_content($GLOBALS['content'][$uniqcontentid], $uniqcontentid);


в конце $this->parse_content()
unset($GLOBALS['content'][$uniqcontentid]);
не помогло  smile 

Автор: Psytodelist 7.5.2012, 18:36
Wolf1994, привел Ваш вариант в ООП-шный вид, не работает.
Пойду спрашивать на зарубежные сайты. Благодарю за помощь.

Автор: Wolf1994 7.5.2012, 18:42
Цитата(Psytodelist @  7.5.2012,  18:36 Найти цитируемый пост)
Wolf1994, привел Ваш вариант в ООП-шный вид, не работает.

Попробуйте на всякий случай в том виде, как есть. Вроде, ничего менять не надо.

Добавлено через 4 минуты и 27 секунд
Ошибся. Нужно сбрасывать счётчик $new_links_i; до добавления новых ссылок:
Код

<?php
//echo $uniqid;
class sitemap
{
    private $sitemap_urls = array();
    private $new_links = array();
    private $new_links_i = 0;
    private $base;
    private $protocol;
    private $domain;
    private $check = array();
    private $proxy = "";
    
    public function set_ignore($ignore_list){
        $this->check = $ignore_list;
    }
    public function set_proxy($host_port){
        $this->proxy = $host_port;
    }
    private function validate($url){
        $valid = true;
        foreach($this->check as $val)
        {
            if(stripos($url, $val) !== false)
            {
                $valid = false;
                break;
            }
        }
        return $valid;
    }
    
    private function multi_curl($urls){
        $curl_handlers = array();
//        foreach ($urls as $url) 
        for ($i=0; $i<$new_links_i; $i++)
        {
            $curl = curl_init();
            curl_setopt($curl, CURLOPT_URL, $urls [$i]);
            curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
            if (isset($this->proxy) && !$this->proxy == '') 
            {
                curl_setopt($curl, CURLOPT_PROXY, $this->proxy);
            }
            $curl_handlers[] = $curl;
        }
        $new_links_i=0;

        $multi_curl_handler = curl_multi_init();
    
        foreach($curl_handlers as $key => $curl)
        {
            curl_multi_add_handle($multi_curl_handler,$curl);
        }
        
        do 
        {
            $multi_curl = curl_multi_exec($multi_curl_handler, $active);
        } 
        while ($multi_curl == CURLM_CALL_MULTI_PERFORM  || $active);
        
        foreach($curl_handlers as $curl)
        {
            if(curl_errno($curl) == CURLE_OK)
            {
                $content = curl_multi_getcontent($curl);
                $this->parse_content($content);
            }
        }
        curl_multi_close($multi_curl_handler);
        return true;
    }
    public function get_links($domain){
        
        $this->base = str_replace("http://", "", $domain);
        $this->base = str_replace("https://", "", $this->base);
        $host = explode("/", $this->base);
        $this->base = $host[0];
        $this->domain = trim($domain);
        if(strpos($this->domain, "http") !== 0)
        {
            $this->protocol = "http://";
            $this->domain = $this->protocol.$this->domain;
        }
        else
        {
            $protocol = explode("//", $domain);
            $this->protocol = $protocol[0]."//";
        }
        
        if(!in_array($this->domain, $this->sitemap_urls))
        {
            $this->sitemap_urls[] = $this->domain;
        }
        $curl = curl_init();
        curl_setopt($curl, CURLOPT_URL, $this->domain);
        if (isset($this->proxy) && !$this->proxy == '') 
        {
            curl_setopt($curl, CURLOPT_PROXY, $this->proxy);
        }
        curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
        $page = curl_exec($curl);
        curl_close($curl);
        $this->parse_content($page);
        while ($new_links_i>0)
         multi_curl($new_links);
    }
    
    private function parse_content($page){
        preg_match_all("/<a[^>]*href\s*=\s*'([^']*)'|".
                    '<a[^>]*href\s*=\s*"([^"]*)"'."/is", $page, $match);
//        $new_links = array();
        for($i = 1; $i < sizeof($match); $i++)
        {
            foreach($match[$i] as $url)
            {
                if(strpos($url, "http") === false  && trim($url) !== "")
                {
                    if($url[0] == "/") $url = substr($url, 1);
                    else if($url[0] == ".")
                    {
                        while($url[0] != "/")
                        {
                            $url = substr($url, 1);
                        }
                        $url = substr($url, 1);
                    }
                    $url = $this->protocol.$this->base."/".$url;
                }
                if(!in_array($url, $this->sitemap_urls) && trim($url) !== "")
                {
                    if($this->validate($url))
                    {
                        if(strpos($url, "http://".$this->base) === 0 || strpos($url, "https://".$this->base) === 0)
                        {
                            $this->sitemap_urls[] = $url;
                            
                             mysql_query("UPDATE scans SET lastlink='".$url."', linkcounter=linkcounter+1");
                            $new_links[$new_links_i] = $url;
                            $new_links_i++;
                        }
                    }
                }
            }
        }
//        $this->multi_curl($new_links);
        return true;
    }
    public function get_array(){
        return $this->sitemap_urls;
    }
    public function generate_sitemap(){
        $sitemap = new SimpleXMLElement('<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"></urlset>');
        foreach($this->sitemap_urls as $url) 
        {
            $url_tag = $sitemap->addChild("url");
            $url_tag->addChild("loc", htmlspecialchars($url));
        }
        return $sitemap->asXML();
    }
}
?>

Автор: Psytodelist 7.5.2012, 19:10
Wolf1994, обращение к методам и свойствам происходит через this->
Опубликовал вопросец. Будем наблюдать что напишут.
http://stackoverflow.com/questions/10485318/php-multi-curl-for-xml-sitemap-class-how-to-unset-recursive-content-variable

Автор: Wolf1994 7.5.2012, 19:23
Тогда так:

Код

        while ($new_links_i>0)
         $this->multi_curl($new_links);


 + сброс счётчика в подходящем месте.

Автор: Psytodelist 7.5.2012, 19:27
Цитата(Wolf1994 @ 7.5.2012,  19:23)
Тогда так:

Код

        while ($new_links_i>0)
         $this->multi_curl($new_links);


 + сброс счётчика в подходящем месте.

Лучше уж так  smile 
Код

        while ($this->$new_links_i>0)
         $this->multi_curl($new_links);


Добавлено через 3 минуты и 13 секунд
Инглишмэны не отзывчивые какие-то.
Пойду посплю, может, прозрение настанет какое
и Ваш вариант попробую. Благодарю за внимание  smile  smile 

Автор: Wolf1994 7.5.2012, 19:33
Так ещё лучше:

Код

        while ($this->new_links_i>0)
         $this->multi_curl($new_links);


В алгоритме ошибок не вижу. Если поправите эти опечатки, должно работать.

Добавлено через 2 минуты и 19 секунд
Код

        while ($this->new_links_i>0)
         $this->multi_curl($this->new_links);

Автор: Psytodelist 7.5.2012, 19:39
А есть перевести все на простой cURL, то же самое придется делать?

Добавлено через 1 минуту
Тоже самое будет походу. 

Автор: Wolf1994 7.5.2012, 19:44
Иправил все опечатки. Попробуйте выполнить этот код:

Код

<?php
//echo $uniqid;
class sitemap
{
    private $sitemap_urls = array();
    private $new_links = array();
    private $new_links_i = 0;
    private $base;
    private $protocol;
    private $domain;
    private $check = array();
    private $proxy = "";
    
    public function set_ignore($ignore_list){
        $this->check = $ignore_list;
    }
    public function set_proxy($host_port){
        $this->proxy = $host_port;
    }
    private function validate($url){
        $valid = true;
        foreach($this->check as $val)
        {
            if(stripos($url, $val) !== false)
            {
                $valid = false;
                break;
            }
        }
        return $valid;
    }
    
    private function multi_curl(){
        $curl_handlers = array();
        for ($i=0; $i<$this->new_links_i; $i++)
        {
            $curl = curl_init();
            curl_setopt($curl, CURLOPT_URL, $this->new_links [$i]);
            curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
            if (isset($this->proxy) && !$this->proxy == '') 
            {
                curl_setopt($curl, CURLOPT_PROXY, $this->proxy);
            }
            $curl_handlers[] = $curl;
        }
        $this->new_links_i=0;

        $multi_curl_handler = curl_multi_init();
    
        foreach($curl_handlers as $key => $curl)
        {
            curl_multi_add_handle($multi_curl_handler,$curl);
        }
        
        do 
        {
            $multi_curl = curl_multi_exec($multi_curl_handler, $active);
        } 
        while ($multi_curl == CURLM_CALL_MULTI_PERFORM  || $active);
        
        foreach($curl_handlers as $curl)
        {
            if(curl_errno($curl) == CURLE_OK)
            {
                $content = curl_multi_getcontent($curl);
                $this->parse_content($content);
            }
        }
        curl_multi_close($multi_curl_handler);
        return true;
    }
    public function get_links($domain){
        
        $this->base = str_replace("http://", "", $domain);
        $this->base = str_replace("https://", "", $this->base);
        $host = explode("/", $this->base);
        $this->base = $host[0];
        $this->domain = trim($domain);
        if(strpos($this->domain, "http") !== 0)
        {
            $this->protocol = "http://";
            $this->domain = $this->protocol.$this->domain;
        }
        else
        {
            $protocol = explode("//", $domain);
            $this->protocol = $protocol[0]."//";
        }
        
        if(!in_array($this->domain, $this->sitemap_urls))
        {
            $this->sitemap_urls[] = $this->domain;
        }
        $curl = curl_init();
        curl_setopt($curl, CURLOPT_URL, $this->domain);
        if (isset($this->proxy) && !$this->proxy == '') 
        {
            curl_setopt($curl, CURLOPT_PROXY, $this->proxy);
        }
        curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
        $page = curl_exec($curl);
        curl_close($curl);
        $this->parse_content($page);
        while ($this->new_links_i>0)
         $this->multi_curl();
    }
    
    private function parse_content($page){
        preg_match_all("/<a[^>]*href\s*=\s*'([^']*)'|".
                    '<a[^>]*href\s*=\s*"([^"]*)"'."/is", $page, $match);
        for($i = 1; $i < sizeof($match); $i++)
        {
            foreach($match[$i] as $url)
            {
                if(strpos($url, "http") === false  && trim($url) !== "")
                {
                    if($url[0] == "/") $url = substr($url, 1);
                    else if($url[0] == ".")
                    {
                        while($url[0] != "/")
                        {
                            $url = substr($url, 1);
                        }
                        $url = substr($url, 1);
                    }
                    $url = $this->protocol.$this->base."/".$url;
                }
                if(!in_array($url, $this->sitemap_urls) && trim($url) !== "")
                {
                    if($this->validate($url))
                    {
                        if(strpos($url, "http://".$this->base) === 0 || strpos($url, "https://".$this->base) === 0)
                        {
                            $this->sitemap_urls[] = $url;
                            
                             mysql_query("UPDATE scans SET lastlink='".$url."', linkcounter=linkcounter+1");
                            $this->new_links[$this->new_links_i] = $url;
                            $this->new_links_i++;
                        }
                    }
                }
            }
        }
        return true;
    }
    public function get_array(){
        return $this->sitemap_urls;
    }
    public function generate_sitemap(){
        $sitemap = new SimpleXMLElement('<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"></urlset>');
        foreach($this->sitemap_urls as $url) 
        {
            $url_tag = $sitemap->addChild("url");
            $url_tag->addChild("loc", htmlspecialchars($url));
        }
        return $sitemap->asXML();
    }
}
?>

Автор: Psytodelist 7.5.2012, 19:45
А без перевода параллельного на последовательное нельзя никак?
Я ж вроде все толково с $GLOBALS написал... вместо переменной
глобальный массив с уникальным идентификатором...
Точно ведь должен знать, какой элемент массива ансетить.
Причем скрипт работал отлично при этом варианте,
но ситуация с ростом оперативной памяти была та же.  smile

Добавлено через 34 секунды
Ок, сейчас попробую просто скопировать и запустить.

Добавлено через 5 минут и 17 секунд
Цитата

memory_get_usage(): 475344
memory_get_usage(): 815640
memory_get_usage(): 1003056
memory_get_usage(): 955632


те же результаты, только чуть хуже,
потому что в этом варианте 
нет ансета $page походу

Автор: Wolf1994 7.5.2012, 20:07
Код

    private function multi_curl(){
    print $this->new_links_i;// Узнайте значение счётчика
   $this->new_links_i=$this->new_links_i/10;// И уменьшите


Если много ссылок, то остаётся разбить один cURL_multi на несколько запросов с небольшим количеством URL'ов.

Добавлено через 1 минуту и 6 секунд
Пример выше - только для теста.

Автор: Wolf1994 7.5.2012, 20:22
Так правильнее:

Код

    private function multi_curl(){
    print $this->new_links_i;// Узнайте значение счётчика
    if ($this->new_links_i>100)
     $this->new_links_i=100;// И уменьшите


- сработает при первых проходах на небольших количествах ссылок.

Автор: Wolf1994 8.5.2012, 06:58
Если меньше запросов в cURL_multi уменьшили потреление RAM, то такой скрипт должен полностью решить проблему:

Код

<?php
//echo $uniqid;
class sitemap
{
    private $sitemap_urls = array();
    private $new_links = array();
    private $new_links_i = 0;
    private $base;
    private $protocol;
    private $domain;
    private $check = array();
    private $proxy = "";
    
    public function set_ignore($ignore_list){
        $this->check = $ignore_list;
    }
    public function set_proxy($host_port){
        $this->proxy = $host_port;
    }
    private function validate($url){
        $valid = true;
        foreach($this->check as $val)
        {
            if(stripos($url, $val) !== false)
            {
                $valid = false;
                break;
            }
        }
        return $valid;
    }
    
    private function multi_curl($urls){
        $curl_handlers = array();
//        for ($i=0; $i<$this->new_links_i; $i++)
        foreach ($urls as $value)
        {
            $curl = curl_init();
            curl_setopt($curl, CURLOPT_URL, $value);//$this->$urls [$i]
            curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
            if (isset($this->proxy) && !$this->proxy == '') 
            {
                curl_setopt($curl, CURLOPT_PROXY, $this->proxy);
            }
            $curl_handlers[] = $curl;
        }
//        $this->new_links_i=0;

        $multi_curl_handler = curl_multi_init();
    
        foreach($curl_handlers as $key => $curl)
        {
            curl_multi_add_handle($multi_curl_handler,$curl);
        }
        
        do 
        {
            $multi_curl = curl_multi_exec($multi_curl_handler, $active);
        } 
        while ($multi_curl == CURLM_CALL_MULTI_PERFORM  || $active);
        
        foreach($curl_handlers as $curl)
        {
            if(curl_errno($curl) == CURLE_OK)
            {
                $content = curl_multi_getcontent($curl);
                $this->parse_content($content);
            }
        }
        curl_multi_close($multi_curl_handler);
        return true;
    }
    public function get_links($domain){
        
        $this->base = str_replace("http://", "", $domain);
        $this->base = str_replace("https://", "", $this->base);
        $host = explode("/", $this->base);
        $this->base = $host[0];
        $this->domain = trim($domain);
        if(strpos($this->domain, "http") !== 0)
        {
            $this->protocol = "http://";
            $this->domain = $this->protocol.$this->domain;
        }
        else
        {
            $protocol = explode("//", $domain);
            $this->protocol = $protocol[0]."//";
        }
        
        if(!in_array($this->domain, $this->sitemap_urls))
        {
            $this->sitemap_urls[] = $this->domain;
        }
        $curl = curl_init();
        curl_setopt($curl, CURLOPT_URL, $this->domain);
        if (isset($this->proxy) && !$this->proxy == '') 
        {
            curl_setopt($curl, CURLOPT_PROXY, $this->proxy);
        }
        curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
        $page = curl_exec($curl);
        curl_close($curl);

        $this->parse_content($page);

        while ($this->new_links_i>0)
        {
         $new_links_tmp=array ();
         for ($i=0; $i<$this->new_links_i; $i++)
          $new_links_tmp [$i]=$this->new_links [$i];
         $size=sizeof ($new_links_tmp);
         if ($size>=200)
          $new_links_tmp2=array_chunk ($new_links_tmp, intval ($size/100));
         else
          $new_links_tmp2 [0]=$new_links_tmp;

         $this->new_links_i=0;

         foreach ($new_links_tmp2 as $value)
          $this->multi_curl($value);
         unset ($new_links_tmp);
        }
    }
    
    private function parse_content($page){
        preg_match_all("/<a[^>]*href\s*=\s*'([^']*)'|".
                    '<a[^>]*href\s*=\s*"([^"]*)"'."/is", $page, $match);
        for($i = 1; $i < sizeof($match); $i++)
        {
            foreach($match[$i] as $url)
            {
                if(strpos($url, "http") === false  && trim($url) !== "")
                {
                    if($url[0] == "/") $url = substr($url, 1);
                    else if($url[0] == ".")
                    {
                        while($url[0] != "/")
                        {
                            $url = substr($url, 1);
                        }
                        $url = substr($url, 1);
                    }
                    $url = $this->protocol.$this->base."/".$url;
                }
                if(!in_array($url, $this->sitemap_urls) && trim($url) !== "")
                {
                    if($this->validate($url))
                    {
                        if(strpos($url, "http://".$this->base) === 0 || strpos($url, "https://".$this->base) === 0)
                        {
                            $this->sitemap_urls[] = $url;
                            
                             mysql_query("UPDATE scans SET lastlink='".$url."', linkcounter=linkcounter+1");
                            $this->new_links[$this->new_links_i] = $url;
                            $this->new_links_i++;
                        }
                    }
                }
            }
        }
        return true;
    }
    public function get_array(){
        return $this->sitemap_urls;
    }
    public function generate_sitemap(){
        $sitemap = new SimpleXMLElement('<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"></urlset>');
        foreach($this->sitemap_urls as $url) 
        {
            $url_tag = $sitemap->addChild("url");
            $url_tag->addChild("loc", htmlspecialchars($url));
        }
        return $sitemap->asXML();
    }
}
?>

Powered by Invision Power Board (http://www.invisionboard.com)
© Invision Power Services (http://www.invisionpower.com)