VPF::Парсер сайта - Форум программистов

nepster

Дата 19.10.2013, 00:16 (ссылка)

(нет голосов)

Загрузка ...

Опытный

Профиль
Группа: Участник
Сообщений: 300
Регистрация: 26.4.2009

Репутация: нет
Всего: нет

Решил попрактиковаться и написать собственный парсер. Собственно сделал половину работы, вот хочу услышать комментарии:

Итак пока задача простая, обойти все ссылки (пока что 1 страницы) и получить массив, где будет показаны все ссылки сайта со статусом.

Код


<?php
namespace lib;

class parse
{
    var $getCurrentParseUrl = '';
    
    var $getParseUrlLimit = 500;
    
    // массив всех URL сайта
    var $getUrlArray = array();
    
    
    
    public function __construct()
    {
        echo '<p>Старт парсинга</p>';
    }
    
    
    
    // проверим урл на валидность 
    public function VALIDATE_URL($url)
    {
        if(filter_var($url, FILTER_VALIDATE_URL))
        {
            return true;
        }
        return false;
    }
     
    
    
    public function run($url)
    {
        //if(!$this->VALIDATE_URL($url)) die('Критическая ошибка, Ваш URL адрес не является правильным');
        echo $this->getCurrentParseUrl = rtrim($url,'/');
        
        
        // дерним url
        $html = $this->tweak($this->getCurrentParseUrl);
        
        
        // получаем все ссылки на главной странице странице
        $getLinks = $this->getLinks($html,'index');
        
        
        /*
        foreach($getLinks as $link)
        {
            print_r($link['url']);
            echo '<br/>';
            
        }*/
        
        
        $this->getATest($getLinks);
        
    }
    
    
    
    public function tweak($url)
    {
        return file_get_contents($url);
    }
    
    
    
    // получить все ссылки на странице
    public function getATest($vars)
    {
     echo '<pre>';
            print_r($vars);
        echo '</pre>';
    }
   


    // проверим принадлежит ли ссылка к нашему сайту 
    function is_main_link($link)
    {
        $parse_subdomain = false;
        
        $main_domain = $this->getCurrentParseUrl;
        $main_domain_host = parse_url($main_domain,PHP_URL_HOST);
        
        // сразу избавимся от www, если есть
        $link = str_replace('//www.','//',$link);
        
        // парсим ссылку 
        # отбрасываем ссылки вида: javascript://
        if(!$parse_url = parse_url($link))
        {
            return false;
        }
        
        // если ссылка не имеет хост 
        # Все ссылки вида: news/, /news/, /news/comm/, а так же отбразываем javascript:void(0)
        if(!isset($parse_url['scheme']) && !isset($parse_url['host']) && isset($parse_url['path']))
        {
            return true;
        }
    
        // сразу решаем вопрос с поддоменами
        # все ссылки вида: [URL=http://forum.site.ru]http://forum.site.ru[/URL], [URL=http://www.forum.site.ru]http://www.forum.site.ru[/URL]
        // тут может быть много моментов, например поддомен 25 вложенности на домене 7 уровня
        // поэтому нужно предусмотреть возможность сключить, выключить возможность парсить поддомены
        // если попадется адрес к примеру: [URL=http://theme.forum.site.com.ua]http://theme.forum.site.com.ua[/URL]
        if($parse_subdomain)
        {
           //
        }
    
        // если ссылка имеет host и при этом он совпадает с указанным
        # Все ссылки вида: [URL=http://site.ru]http://site.ru[/URL], [URL=http://www.site.ru]http://www.site.ru[/URL]
        if(isset($parse_url['host']) && $parse_url['host'] == $main_domain_host)
        {
            return true;
        }
    
    
        return false;
    }
    
    
    
    // Получаем полную ссылку к странице нашего сайта 
    function getFullMainUrl($link)
    {
        $main_domain = $this->getCurrentParseUrl;
        
        $parse_url = parse_url($link);
        
        if(isset($parse_url['scheme']) && isset($parse_url['host']))
        {
            if(isset($parse_url['path']))
            {
                return $main_domain.$parse_url['path'];
            }
            else
            {
                return $link;
            }
        }
        
        
        if(!isset($parse_url['scheme']) && !isset($parse_url['host']) && isset($parse_url['path']))
        {           
            if(substr($link,0,1) != '/')
            {
                return $main_domain.'/'.$link;
            }
            
            return $main_domain.$link;
        }
        
        return 'error';
    }  
    
    

    // проверим работоспособность ссылки
    function is_success_link($url) 
    {
        $headers = @get_headers($url);
        return substr($headers[0], 9, 3);
    }

    
        
    // получить все ссылки на странице уже в отфаршированном виде
    public function getLinks($html, $page = false)
    {
        #$page - идентификатор
        
        $result = array();
        
        // все ссылки на странице 
        $getAllLinksFromPage = $this->getAllLinksFromPage($html);
        
        if($getAllLinksFromPage)
        {   
            // приведем наш массив ссылок в человеческий вид
            foreach($getAllLinksFromPage as $link)
            {
                // принадлежит ли ссылка к нашему сайту ? 
                $url_main = ($this->is_main_link($link[1])) ? 1 : 0;
                
                // рабочая ли ссылка
                $url_success = ($url_code == 200) ? 1 : 0;
                
                echo 1;
                
                // полная ссылка (только для ссылок нашего сайта)
                $full_url = '';
                if($url_main)
                { 
                    $full_url = $this->getFullMainUrl($link[1]);
                }
                
                echo 2;
                // код ссылки
                $url_code = $this->is_success_link($full_url);
                
                
                echo 3;
                
                $result[(!$page)?'index':$page][] = array(
                        'url'=>$link[1], 
                        'name'=>htmlspecialchars($link[2]), // тут и картинка может быть 
                        'success'=>$url_success, 
                        'code' =>$url_code,
                        'main'=>$url_main,
                        'full_url'=>$full_url);
            }
        }
        
        return $result;
    }
    
    
    
    // получить все ссылки на странице
    public function getAllLinksFromPage($html)
    {
        preg_match_all("/<a href=\"([^\"]*)\">(.*)<\/a>/iU",$html,$links, PREG_SET_ORDER);
        return array_slice($links , 0, $this->getParseUrlLimit);
    }
}

Вызов:

Код


header('Content-Type: text/html; charset=utf-8');

require_once('crawler/load.php');


set_time_limit(0);

ini_set('display_errors', 1);
  
error_reporting(E_ALL);


$getUrl = 'http://forum.vingrad.ru/';
$parce = new lib\parse();
echo $parce->run($getUrl);

Пока еще сыровато, но уже что то делает. Под сыровато подразумеваю работу с поддоменами, словарем ссылок и парсинга всех ссылок любой вложенности.

Собственно следующий этап собрать ссылки всего сайта в массив. А далее можно будет увидеть например все битые ссылки на сайте.

В общем интересует ваше мнение по коду

Это сообщение отредактировал(а) nepster - 19.10.2013, 00:16

Platon

Дата 19.10.2013, 14:23 (ссылка)

(нет голосов)

Загрузка ...

Эксперт

Профиль
Группа: Завсегдатай
Сообщений: 1801
Регистрация: 25.4.2006

Репутация: нет
Всего: 40

Раз нет никаких вопросов по существу, это развязывает руки.

Цитата

В общем интересует ваше мнение по коду

Здесь должна быть фотка Микки Рурка из Железного Человека 2 *шутка*.

Без чётко поставленного вопроса: "как лучше реализовать разбор Урла" или "какое регулярное выражение учтёт все случаи?" особо нечего рекомендовать.

Единственное: определись со стилем кода. у тебя всё намешано.

Код


public function VALIDATE_URL($url)

Код


public function getLinks($html, $page = false)

Код


function is_success_link($url)

не гоже программисту менять своё настроение. стиль должен быть один.

Это сообщение отредактировал(а) Platon - 19.10.2013, 15:21

--------------------

Блог на винграде
Мой Блог о Java
For Java developers... only

nepster

Дата 19.10.2013, 18:16 (ссылка)

(нет голосов)

Загрузка ...

Опытный

Профиль
Группа: Участник
Сообщений: 300
Регистрация: 26.4.2009

Репутация: нет
Всего: нет

Вас понял сер, уже исправляю. Результат в скором времени выложу

Platon

Дата 19.10.2013, 19:53 (ссылка)

(нет голосов)

Загрузка ...

Эксперт

Профиль
Группа: Завсегдатай
Сообщений: 1801
Регистрация: 25.4.2006

Репутация: нет
Всего: 40

Лично я предпочитаю Java-стиль. да и многие проекты придерживаются его.
в основном это различия в написании классов, методов и переменных.

Java-style

Код


class ThisIsMyClass {
    function thisIsMyMethod() {
        $thisIsMyVar = 1;
    }
}

против C-style

Код


class this_is_my_class {
    function this_is_my_method() {
        $this_is_my_var = 1;
    }
}

Это сообщение отредактировал(а) Platon - 19.10.2013, 19:54

--------------------

Блог на винграде
Мой Блог о Java
For Java developers... only

Sanchezzz

Дата 19.10.2013, 22:12 (ссылка)

(нет голосов)

Загрузка ...

Эксперт

Профиль
Группа: Завсегдатай
Сообщений: 1670
Регистрация: 19.11.2006
Где: Voronezh

Репутация: 41
Всего: 60

Есть специальные стандарты введения кода PSR 0, 1, 2, 3

--------------------

Понравился ответ "+" по репе, не забываем закрывать тему, заказы в LS.

nepster

Дата 19.10.2013, 23:12 (ссылка)

(нет голосов)

Загрузка ...

Опытный

Профиль
Группа: Участник
Сообщений: 300
Регистрация: 26.4.2009

Репутация: нет
Всего: нет

Sanchezzz, у Вас случайно нет хорошего отечественного источника, где можно почитать про PSR 0 ?

Если что то забыл, для удобства выкладываю все в архиве.

Теперь мы умеем идти на сайт, собирать кол-во ссылок с сайта, считать изображения, обпередлять код страницы и все это записывать в файл.

Снова жду ваших комментариев и продолжаю работать над обходом всего сайта

Итак обновляем данне:

Код


header('Content-Type: text/html; charset=utf-8');
set_time_limit(0);
ini_set('display_errors', 1);
error_reporting(E_ALL);

require_once('crawler/load.php');

$start = microtime(true);


$getUrl = 'http://nodejs.org/';
$parce = new lib\parse();

$parce->run($getUrl);

echo '<br/><p>Время выполнения скрипта: '.(microtime(true) - $start).' сек.</p>';

parse.php

Код


<?php
namespace lib;

class parse extends patterns
{
    public $getCurrentParseUrl = '';
    
    public $getParseUrlLimit = 500;
    
    // массив всех URL сайта
    public $getUrlArray = array();
    
    
    
    public function __construct()
    {
        date_default_timezone_set('Europe/Kiev');
    }
    
    
    
    // проверим урл на валидность 
    public function isUrl($url)
    {
        return filter_var($url, FILTER_VALIDATE_URL);
    }
     
    
    
    public function run($url)
    {
        $this->getCurrentParseUrl = rtrim($url,'/');
        
        // создать файл для статистики
        statFile::$prefix_file = '_images';  // префикс файла 
        statFile::$template    = 'stat.tpl'; // шаблон файла
        statFile::create();  // создать файл
        /************************************************/
        
        if(!$this->isUrl($this->getCurrentParseUrl) || !$this->isSuccessLink($this->getCurrentParseUrl))
        {
            // сформировать данные статистики для главной ссылки
            statFile::images(0,'Главная',$this->getCurrentParseUrl,404,0);
            statFile::update();  // обновить данные файла статистики 
            exit;
        }
        
        // дерним url, получаем html код
        $html = $this->tweak($this->getCurrentParseUrl);
        
        // кол-во изображений на странице
        $getCountImagesFromPage = $this->getAllImagesFromPage($html,$this->getParseUrlLimit, true);
        
        // сформировать данные статистики для главной ссылки
        statFile::images(0,'Главная',$this->getCurrentParseUrl,$this->isSuccessLink($this->getCurrentParseUrl),$getCountImagesFromPage);
        statFile::update();  // обновить данные файла статистики 
        
        
        // получаем все ссылки на главной странице странице
        $getLinks = $this->getLinks($html,'index');
        
        
        
        
   
        
        $this->getATest($getLinks);
        
    }
    
    
    
    public function tweak($url)
    {
        return file_get_contents($url);
    }
    
    
    
    // получить все ссылки на странице
    public function getATest($vars)
    {
     echo '<pre>';
            print_r($vars);
        echo '</pre>';
    }
   


    // проверим принадлежит ли ссылка к нашему сайту 
    function isMainLink($link)
    {
        $parse_subdomain = false;
        
        $main_domain = $this->getCurrentParseUrl;
        $main_domain_host = parse_url($main_domain,PHP_URL_HOST);
        
        // сразу избавимся от www, если есть
        $link = str_replace('//www.','//',$link);
        
        // парсим ссылку 
        # отбрасываем ссылки вида: javascript://
        if(!$parse_url = parse_url($link))
        {
            return false;
        }
        
        // если ссылка не имеет хост 
        # Все ссылки вида: news/, /news/, /news/comm/, а так же отбразываем javascript:void(0)
        if(!isset($parse_url['scheme']) && !isset($parse_url['host']) && isset($parse_url['path']))
        {
            return true;
        }
    
        // сразу решаем вопрос с поддоменами
        # все ссылки вида: http://forum.site.ru, http://www.forum.site.ru
        // тут может быть много моментов, например поддомен 25 вложенности на домене 7 уровня
        // поэтому нужно предусмотреть возможность сключить, выключить возможность парсить поддомены
        // если попадется адрес к примеру: http://theme.forum.site.com.ua
        if($parse_subdomain)
        {
           //
        }
    
        // если ссылка имеет host и при этом он совпадает с указанным
        # Все ссылки вида: http://site.ru, http://www.site.ru
        if(isset($parse_url['host']) && $parse_url['host'] == $main_domain_host)
        {
            return true;
        }
    
    
        return false;
    }
    
    
    
    // Получаем полную ссылку к странице нашего сайта 
    function getFullMainUrl($link)
    {
        $main_domain = $this->getCurrentParseUrl;
        
        $parse_url = parse_url($link);
        
        if(isset($parse_url['scheme']) && isset($parse_url['host']))
        {
            if(isset($parse_url['path']))
            {
                return $main_domain.$parse_url['path'];
            }
            else
            {
                return $link;
            }
        }
        
        
        if(!isset($parse_url['scheme']) && !isset($parse_url['host']) && isset($parse_url['path']))
        {           
            if(substr($link,0,1) != '/')
            {
                return $main_domain.'/'.$link;
            }
            
            return $main_domain.$link;
        }
        
        return 'error';
    }  
    
    

    // проверим работоспособность ссылки
    function isSuccessLink($url) 
    {
        $headers = @get_headers($url);
        return substr($headers[0], 9, 3);
    }

    
        
    // получить все ссылки на странице уже в отфаршированном виде
    public function getLinks($html, $page = false)
    {
        #$page - идентификатор
        
        $result = array();
    
        // все ссылки на странице 
        $getAllLinksFromPage = $this->getAllLinksFromPage($html, $this->getParseUrlLimit);
        
        
        if($getAllLinksFromPage)
        {   
            // приведем наш массив ссылок в человеческий вид
            foreach($getAllLinksFromPage as $link)
            {
                // принадлежит ли ссылка к нашему сайту ? 
                $url_main = ($this->isMainLink($link[1])) ? 1 : 0;
                
                // полная ссылка (только для ссылок нашего сайта)
                $full_url = '';
                $url_code = '';
                if($url_main)
                { 
                    $full_url = $this->getFullMainUrl($link[1]);
                    // код ссылки
                    $url_code = $this->isSuccessLink($full_url);
                }
                
                
                $result[(!$page)?'index':$page][] = array(
                        'url'=>$link[1], 
                        'name'=>htmlspecialchars($link[2]), // тут и картинка может быть 
                        'parse'=>0, 
                        'code' =>$url_code,
                        'main'=>$url_main,
                        'full_url'=>$full_url);
            }
        }
        
        return $result;
    }
    
    
    
}

patterns.php

Код


<?php
namespace lib;

class patterns
{

    // получить все ссылки на странице
    public function getAllLinksFromPage($html, $limit = 1000)
    {
        preg_match_all("/<a href=\"([^\"]*)\">(.*)<\/a>/iU",$html,$links, PREG_SET_ORDER);
        return array_slice($links , 0, $limit);
    }
    
    
    // получить все изображения на странице
    public function getAllImagesFromPage($html, $limit = 1000, $count = false)
    {
        preg_match_all("/<img(.*)>/iU",$html, $images, PREG_SET_ORDER);
        
        if(!$count)
        {
            return array_slice($images , 0, $limit);
        }
        else
        {
            return count(array_slice($images , 0, $limit));
        }
    }
    
    
    
}

statFile.php

Код


<?php
namespace lib;

class statFile
{
    // верстка шаблона 
    public static $prefix_file = '';
    
    // шаблон по которому создать файл
    public static $template = false;
    
    // верстка шаблона 
    public static $makeup = 'table';
    
     
    
    
    
    /**********************************/
    
    // данные по статистики изображений
    private static $PacketImages = false;
    
    

    
    public function __construct()
    {
    }
    
    
    
    /*
    public static function load($className=__CLASS__)
    {
        return new $className;
    }*/
    
    
    
    // адрес для файлов статистики
    private static function getFileDir()
    {
        return dirname(__FILE__).'/../stat/';
    }
    
    
    
    // имя файла
    private static function getFileName()
    {
        return 'report'.self::$prefix_file.'_'.date("d.m.Y").'.html';
    }
    
    
    
    // создать пустой файл
    public static function create()
    {
        // указан шаблон для создания статистики 
        $html = self::GenerateTpl(); // содержимое файла 
        
        // файла не существует, создадим его 
        if(!file_exists(self::getFileDir().self::getFileName()))
        {
            file_put_contents(self::getFileDir().self::getFileName(),$html);
        }
        
        // проверим создался ли файл
        if(!file_exists(self::getFileDir().self::getFileName()))
        {
            return false;
        }
        
        return true;
    }
    
    
    //обновить файл
    public static function update()
    {
        /*
            Обновлять файл статистики мы будем для каждой страницы 
            Это сделано для того, что если по какой-то причине скрипт перестанет работать, у нас сохранялись данные
        */
        
        $html = self::GenerateTpl(self::$PacketImages); // содержимое файла 
        
        file_put_contents(self::getFileDir().self::getFileName(),$html);
        
        // проверим создался ли файл
        if(!file_exists(self::getFileDir().self::getFileName()))
        {
            return false;
        }
        
        return true;
    }
    
    
    
    // шаблон для файла
    private static function GenerateTpl($content = false)
    {
        $html = '';
        
        if(self::$template)
        {
            $getTplUrl = dirname(__FILE__).'/../stat/tpl/';
            
            if(file_exists($getTplUrl.self::$template))
            {
                $html = file_get_contents($getTplUrl.self::$template);
                
                // контент по умолчанию
                if(!$content)
                {
                    if(self::$makeup == 'table')
                    {
                        $content = '
                            <tr>
                                <td colspan="4">Статистика</td>
                            </tr>
                        ';
                    }
                    else
                    {
                        $content = '
                            <div class="stat">
                                <div class="no_data">Статистика</div>
                            </div>
                        '; 
                    }
                }
                
                $tpl_data = array();
                $tpl_data[] = '{date}';
                $tpl_data[] = '{content}';
                
                $content_data = array();
                $content_data[] = date("d.m.Y");
                $content_data[] = $content;
                
                // немного обработаем шаблон 
                $html = str_replace($tpl_data,$content_data,$html);
            }
        }
        
        return $html;
    }
    
    
    
    // сгенерировать данные для шаблона статистики по изображениям и сформировать пакет 
    public static function images($lvl, $name, $url, $status, $count)
    {
        /*
        $lvl    - уровень вложенности (0 = index)
        $name   - имя страницы
        $url    - адрес 
        $status - статус 
        $count  - кол-во изображений 
        */
                    
        $class_status = ($status == 200) ? 'green' : 'red';
            
        if(self::$makeup == 'table')
        {
            self::$PacketImages .= '
                <tr>
                  <td class="name">'.$name.'</td>
                  <td class="url"><a href="'.$url.'">'.$url.'</a></td>
                  <td class="code '.$class_status.'">'.$status.'</td>
                  <td class="img_count">'.$count.'</td>
                </tr>
            ';
        }
        else
        {
            self::$PacketImages .= '
                <div class="stat">
                  <div class="name">'.$name.'</div>
                  <div class="url"><a href="'.$url.'">'.$url.'</a></div>
                  <div class="code '.$class_status.'">'.$status.'</div>
                  <div class="img_count">'.$count.'</div>
                </div>
            ';
        }
        
        // self::$newPacketImages  - новый пакет данных для обновления файла 
    }
   
}

Это сообщение отредактировал(а) nepster - 19.10.2013, 23:12

Присоединённый файл ( Кол-во скачиваний: 0 )

c.com.rar 5,98 Kb

Sanchezzz

Дата 20.10.2013, 00:40 (ссылка)

(нет голосов)

Загрузка ...

Эксперт

Профиль
Группа: Завсегдатай
Сообщений: 1670
Регистрация: 19.11.2006
Где: Voronezh

Репутация: 41
Всего: 60

0 - это авто загрузка классов
1 и 2 - стиль ведения кода
Из русского можно почитать на сайте зенда http://www.zendframework.com/manual/1.12/r...ding-style.html

https://github.com/php-fig/fig-standards/tr...master/accepted

--------------------

Понравился ответ "+" по репе, не забываем закрывать тему, заказы в LS.

nepster

Дата 20.10.2013, 01:03 (ссылка)

(нет голосов)

Загрузка ...

Опытный

Профиль
Группа: Участник
Сообщений: 300
Регистрация: 26.4.2009

Репутация: нет
Всего: нет

Код


<?php
//GLOBAL SPACE <--
function __autoload($c)
{
    
    require_once $c . ".php";
}

Это вот этот вот магический метод !?
Я это реализовал у себя вот таким вот простейшим способом!

А что вы в общем можете сказать по коду ?

Sanchezzz

Дата 20.10.2013, 10:50 (ссылка)

(нет голосов)

Загрузка ...

Эксперт

Профиль
Группа: Завсегдатай
Сообщений: 1670
Регистрация: 19.11.2006
Где: Voronezh

Репутация: 41
Всего: 60

spl_autoload_register явно лучше задать чем функции с особым названием __autoload использовать. Причем авто-загрузчиков можно регистрировать несколько.

Например для расширения фреймворка приvер приведу laravel его систему пекеджей с фасадами.

По коду:

Половина функций названо с начальной большой буквы. Если вы и придерживаетесь JS/java именования функции то это нужно соблюдать.
Первое слово в название функции должно писаться с нижнем регистре.
Плохо

Код


public function ActionIndex()
{
//...
}

Хорошо
public function actionIndex()
{
//...
}
[/code]

Прочитайте полностью стандарт зенда.

--------------------

Понравился ответ "+" по репе, не забываем закрывать тему, заказы в LS.

nepster

Дата 21.10.2013, 22:50 (ссылка)

(нет голосов)

Загрузка ...

Опытный

Профиль
Группа: Участник
Сообщений: 300
Регистрация: 26.4.2009

Репутация: нет
Всего: нет

Собственно обновляю:

run.php

Код


header('Content-Type: text/html; charset=utf-8');
set_time_limit(0);
ini_set('display_errors', 1);
error_reporting(E_ALL);

require_once('crawler/load.php');


$url = 'http://c.com/site/';
$url = 'http://www.nodejs.org/';
//$url = 'http://site.ru';

    
// CLI режим
if(isset($argv) && isset($argv[1])) $url = $argv[1];
          
$parce = new lib\parse();
$parce->getParseUrlLimit = 5000;       // лимит preg_match_all
$parce->setParseSize     = 500000;     // парсть страницы не более ... байт
$parce->setParseLvl      = 2;          // вложенность страниц  
$parce->setParseWww      = 0;          // использовать www в URL (такие остались еще сайты, которые не работают без www, php.su)
//$parce->setParseSort     = 'images'; // включить сортировку по фильтру, если такого фильтра нет, параметр будет проигнорирован
//$parce->setParseSortLvl  = 1;        // учитывать ли вложенность при сортировке  
$parce->run($url);
$parce->time();
$parce->result();

parse.php
не влез на форум, приложил в архиве

getLink.php

Код


<?php    
/**
* Класс для работы с URL
*
*
* Автор: NEPSTER
*
* @copyright  Copyright (c) 2013
* @version    0.1
*/
    
namespace lib;

class getLink
{
    /*
    function __construct()
    {
        
    }*/
    
    
    
    
    // Размер страницы 
    public static function getSizeUrl($url)
    {
        $size = 0;
        if(function_exists('curl_init'))
        {
            $ch = curl_init($url);
            
            curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE);
            curl_setopt($ch, CURLOPT_HEADER, TRUE);
            curl_setopt($ch, CURLOPT_NOBODY, TRUE);
            
            $data = curl_exec($ch);
            $size = curl_getinfo($ch, CURLINFO_CONTENT_LENGTH_DOWNLOAD);
            
            curl_close($ch);
        }
        return $size;
    }




    // получить html код по ссылке 
    public static function getHtml($url, $size = 1024)
    {
        $html = false;
        
        if($size >= self::getSizeUrl($url))
        {
            $html = @file_get_contents($url); 
        }
        
        return $html;
    }
    
    
    
        
    // проверим работоспособность ссылки
    public static function getCode($url) 
    {
        $headers = @get_headers($url);
        return substr($headers[0], 9, 3);
    }
        
        
       
        
    // проверим урл на валидность 
    public static function isUrl($url)
    {
        return filter_var($url, FILTER_VALIDATE_URL);
    }
        
        
       
        
    // валидный URL
    public static function validUrl($url, $www = 0)
    {
        // убрать задний слеш 
        $url = rtrim($url,'/');
        
        // убрать www если нужно 
        if(!$www)
            $url = str_replace("//www.","//", $url);
        
        return $url;
    }




    // проверим принадлежит ли ссылка к домену 
    public static function isMain($link, $myLink)
    {
        $parse_subdomain = false;
        
        // сразу избавимся от www, если есть
        $myLink = str_replace('//www.','//',$myLink);
        $link   = str_replace('//www.','//',$link);
        
        $myDomainHost = parse_url($myLink,PHP_URL_HOST);
        
        // парсим ссылку 
        # отбрасываем ссылки вида: javascript://
        if(!$parse_url = parse_url($link))
        {
            return false;
        }
        
        // если ссылка имеет host и при этом он совпадает с указанным
        # Все ссылки вида: http://site.ru, http://www.site.ru
        if(isset($parse_url['host']) && $parse_url['host'] == $myDomainHost)
        {
            return true;
        }
        
        // если ссылка не имеет хост 
        # Все ссылки вида: news/, /news/, /news/comm/, а так же отбразываем javascript:void(0)
        if(!isset($parse_url['scheme']) && !isset($parse_url['host']) && isset($parse_url['path']))
        {
            return true;
        }
    
        // вопрос с поддоменами
        # все ссылки вида: http://forum.site.ru, http://www.forum.site.ru
        // тут может быть много моментов, например поддомен 25 вложенности на домене 7 уровня
        // поэтому нужно предусмотреть возможность сключить, выключить возможность парсить поддомены
        // если попадется адрес к примеру: http://theme.forum.site.com.ua
        if($parse_subdomain)
        {
           //
        }
    
        # Все ссылки вида: ?news=10
        if(!isset($parse_url['host']) && isset($parse_url['query']))
        {
            return true;
        }
        
        return false;
    }
    
    
    
    
    // Получаем полную ссылку к странице нашего сайта 
    public static function getFullUrl($www, $link, $myLink, $parentLink = false)
    {
        /*
            $www         = обрабатывать ли www
            $link        = ссылка, которую необхоимо преобразовать 
            $myLink      = ссылка домена 
            $parentLink  = родительская ссылка $link, для обработки ссылок вида: news/id/32/
        */
        
        if(!$www)
        {
            $myLink = str_replace('//www.','//',$myLink);
            $link   = str_replace('//www.','//',$link);
        }
        
        $parse_url = parse_url($link);
        
        
        if(isset($parse_url['scheme']) && isset($parse_url['host']))
        {
            if(isset($parse_url['path']))
            {
                return $myLink.$parse_url['path'];
            }
            else
            {
                return $link;
            }
        }
        
        
        if(!isset($parse_url['scheme']) && !isset($parse_url['host']) && isset($parse_url['path']))
        {           
            if(substr($link,0,1) != '/')
            {
                $path  = (isset($parse_url['path']))  ? '/'.$parse_url['path']  : '';
                $query = (isset($parse_url['query'])) ? '/'.$parse_url['query'] : '';
                
                // тут интересная ситуация
                // если мы находимся на странице с адресом к примеру http://nodejs.org/api/
                // и видем ссылку documentation.html, то при добавлении домена, мы получим:
                // http://nodejs.org/documentation.html и это будет не правильно, так как 
                // верный url: http://nodejs.org/api/documentation.html
                // для таких вот ситуаций, нам и необходама родительская ссылка
                if($parentLink)
                {
                    return $parentLink.$path.$query; 
                }
                else
                {
                    return $myLink.$path.$query; 
                }
            }
            
            return $myLink.$link;
        }
        
        
        
        if(isset($parse_url['query']))
        {    
            $parse_url['query'] = ltrim($parse_url['query'],'/');
            
            if($parentLink)
            {
                return $parentLink.'/?'.$parse_url['query']; 
            }
            else
            {
                return $myLink.'/?'.$parse_url['query']; 
            }
        }
        
        
        return false;
    }  
    
    
    
    
    // получить все ссылки на странице
    public function getLinks($html, $lvl = 0)
    {
        #$lvl - уровень вложенности 
        
        $result = array();
    
        
        if($getAllLinksFromPage)
        {   
            // приведем наш массив ссылок в человеческий вид
            foreach($getAllLinksFromPage as $link)
            {
                // принадлежит ли ссылка к нашему сайту ? 
                $url_main = (self::isMain($link[1])) ? 1 : 0;
                
                // полная ссылка (только для ссылок нашего сайта)
                $full_url = '';
                $url_code = '';
                if($url_main)
                { 
                    $full_url = self::getFullUrl($link[1]);
                    // код ссылки
                    $url_code = self::getCode($full_url);
                }
                
    
                $result[$lvl][] = array(
                        'url'=>$link[1], 
                        'name'=>htmlspecialchars($link[2]), // тут и картинка может быть 
                        'parse'=>0, 
                        'code' =>$url_code,
                        'main'=>$url_main,
                        'full_url'=>$full_url);
            }
        }
        
        return $result;
    }
    
}

Собственно уже, что то да получается.
Бот обходит весь сайт, вытавляет статус страницы и считает кол-во кратинок.
можно указать уровень вложенности и тп.

Однако еще есть несколько моментов, один из которых очень важный, не могу правильно составить полный URL страницы максимально корректно:

Подскажите подалуйста как можно функцию обновить как следует, что бы она с любого url составляла полный адрес к ссылки

Код


    // Получаем полную ссылку к странице нашего сайта 
    public static function getFullUrl($www, $link, $myLink, $parentLink = false)
    {
        /*
            $www         = обрабатывать ли www
            $link        = ссылка, которую необхоимо преобразовать 
            $myLink      = ссылка домена 
            $parentLink  = родительская ссылка $link, для обработки ссылок вида: news/id/32/
        */
        
        if(!$www)
        {
            $myLink = str_replace('//www.','//',$myLink);
            $link   = str_replace('//www.','//',$link);
        }
        
        $parse_url = parse_url($link);
        
        
        if(isset($parse_url['scheme']) && isset($parse_url['host']))
        {
            if(isset($parse_url['path']))
            {
                return $myLink.$parse_url['path'];
            }
            else
            {
                return $link;
            }
        }
        
        
        if(!isset($parse_url['scheme']) && !isset($parse_url['host']) && isset($parse_url['path']))
        {           
            if(substr($link,0,1) != '/')
            {
                $path  = (isset($parse_url['path']))  ? '/'.$parse_url['path']  : '';
                $query = (isset($parse_url['query'])) ? '/'.$parse_url['query'] : '';
                
                // тут интересная ситуация
                // если мы находимся на странице с адресом к примеру http://nodejs.org/api/
                // и видем ссылку documentation.html, то при добавлении домена, мы получим:
                // http://nodejs.org/documentation.html и это будет не правильно, так как 
                // верный url: http://nodejs.org/api/documentation.html
                // для таких вот ситуаций, нам и необходама родительская ссылка
                if($parentLink)
                {
                    return $parentLink.$path.$query; 
                }
                else
                {
                    return $myLink.$path.$query; 
                }
            }
            
            return $myLink.$link;
        }
        
        
        
        if(isset($parse_url['query']))
        {    
            $parse_url['query'] = ltrim($parse_url['query'],'/');
            
            if($parentLink)
            {
                return $parentLink.'/?'.$parse_url['query']; 
            }
            else
            {
                return $myLink.'/?'.$parse_url['query']; 
            }
        }
        
        
        return false;
    }

я заметил, что на 4 - 5 вложенности, появляются вот такие вот ссылки:

http://nodejs.org/docs/v0.10.21/api/tls.html/all.html

Присоединённый файл ( Кол-во скачиваний: 0 )

crawler.rar 10,31 Kb

nepster

Дата 22.10.2013, 06:44 (ссылка)

(нет голосов)

Загрузка ...

Опытный

Профиль
Группа: Участник
Сообщений: 300
Регистрация: 26.4.2009

Репутация: нет
Всего: нет

Назовем это версией 0.1

Очень жду Ваших комментариев

Это сообщение отредактировал(а) nepster - 22.10.2013, 06:45

Присоединённый файл ( Кол-во скачиваний: 0 )

crawler.rar 149,86 Kb

1 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема \| PHP: Общие вопросы \| Следующая тема »