VPF::Сграбить часть содержимого страницы

Mal Hack

Дата 14.5.2006, 13:29 (ссылка)

(нет голосов)

Загрузка ...

Мудрый...

Профиль
Группа: Участник Клуба
Сообщений: 9926
Регистрация: 15.2.2004

Репутация: 5
Всего: 261

Код

<?php
$text = <<<EOS
<table width="95%"  border="0" align="center" cellpadding="3" cellspacing="0" class="inup3">
<tr>
<td width="100%">
<A HREF="ссылка1" target=_blank>название</A>
<IMG SRC="картинка1" WIDTH=12 HEIGHT=15>  (Значение1: само_значение1) <BR>
<b>значение2: само_значение2</b><BR>
значение3: само_значение3</FONT><BR>
<B>текст1:</B><BR>значение4<BR>
<B>текст2:</B><BR>значение5<BR>    
<B>текст3:</B><BR>значение6<BR>    
</td>
<td align="center" valign="top" style='padding: 0,2,0,5'>
<a href="ссылка1"><SPAN style='background-color: #E0E0E0'><img src="картинка1" alt="значение7" name="image" border="0"></SPAN></a></td>
</tr>
</table>
EOS;
print $text = strip_tags( $text );
preg_match_all( "#:(.+)#i" , $text , $match );
// preg_match_all( "#\:(.+?)$#i" , $text , $match );
print("<pre>");
print_r( $match );
print("</pre>");
?>

Aliance

Дата 14.5.2006, 15:40 (ссылка)

(нет голосов)

Загрузка ...

I ♥ <script>

Профиль
Группа: Модератор
Сообщений: 6418
Регистрация: 2.8.2004
Где: spb

Репутация: нет
Всего: 137

Все работает почти идеально! :-)
Пойду писать, какие будут вопросы по ходу, буду задавать!

ЗЫ: получай, гений, +1 smile

--------------------

• Все о событиях
• Объекты и массивы
• ОКНА И ФРЕЙМЫ

JAVA ≠ JavaScript

Aliance

Дата 14.5.2006, 17:18 (ссылка)

(нет голосов)

Загрузка ...

I ♥ <script>

Профиль
Группа: Модератор
Сообщений: 6418
Регистрация: 2.8.2004
Где: spb

Репутация: нет
Всего: 137

Итак, совместил 2 кода, вот он:

Код


<?php

$text;
$mas;
$match2;
$data;
$match;

$fp = fsockopen("capitalcity.combats.ru", 80, $errno, $errstr, 30);
if (!$fp) {
   echo "Error ;)<br />\n";
} else {
   $out = "GET /encicl/crutch.html HTTP/1.1\r\n";
   $out .= "Host: capitalcity.combats.ru\r\n";
   $out .= "Connection: Close\r\n\r\n";

   fwrite($fp, $out);
   while (!feof($fp)) {
        $text .= fgets($fp, 128);
   }
   fclose($fp);
}

preg_match_all("#<\!\-\-\sBegin\sof\stext\s\-\->(.+?)<\!\-\-\sEnd\sof\stext\s\-\->#s", $text, $mas);

$data = explode("<br />", $mas[0][0]);

preg_match_all("#<(?:a|img)?\s(?:.*?)(?:(?:src|alt|href)=(\"|\')(.+?)\\1)(?:.*?)>#ise", $data[0], $match2);

$data[0] = strip_tags($data[0]);

$data[0] = str_replace('&bull;', '<br />&bull;', $data[0]);

preg_match_all("#:(.+)#i", $data[0], $match);

echo <<<EOS

<table width="95%"  border="0" align="center" cellpadding="3" cellspacing="0" class="inup3">
<tr>
<td width="100%">
<A HREF="/encicl/object/kostyl2.html" target=_blank>Укрепленный Костыль</A>
<IMG SRC="http://img.combats.ru/i/align.gif" WIDTH=12 HEIGHT=15>  (Масса{$match[0][0]} <BR>
<b>Цена{$match[0][1]}</b><BR>
Долговечность{$match[0][2]}</FONT><BR>
    
<B>Требуется минимальное</B>{$match[0][3]}<BR>
<B>Свойства предмета</B>{$match[0][4]}<BR>
<B>Особенности</B>{$match[0][5]}<BR>
    
</td>
<td align="center" valign="top" style='padding: 0,2,0,5'>
<a href="/encicl/object/kostyl2.html"><SPAN style='background-color: #E0E0E0'>
{$match2[0][6]}</SPAN></a></td>
</tr>
</table>

EOS;

print("<hr><pre>");
print_r($match2);
print("<hr>");
print($match2[0][2]);
print("</pre>");

?>

Все выходит, но это лишь первый элемент ($mas[0][0]). В перспективе я бы хотел циклом перебирать и резать все вхождения ($mas[0][$i]). Проблем нет, кроме одной: в первый элемент имеет 2 и 3 лишние строчки, которые мешают. Вот они:

Код


      <p><b><br>
        &gt;&gt;</b> <a href="index.html">Содержание</a> /  <a href="subjects.html">Предметы</a> /  <a href="ammunition.html">Амуниция</a> /   <em><strong>Костыли</strong></em>

Их нужно вырезать, думаю.

Вот значение переменной $mas[0][0] для данного кода:

Код


<!-- Begin of text -->
      <p><b><br>
        &gt;&gt;</b> <a href="index.html">Содержание</a> /  <a href="subjects.html">Предметы</a> /  <a href="ammunition.html">Амуниция</a> /   <em><strong>Костыли</strong></em> 
      
    
    <table width="95%"  border="0" align="center" cellpadding="3" cellspacing="0" class="inup3">
        <tr>
        <td width="100%">
    <A HREF="/encicl/object/kostyl2.html" target=_blank>Укрепленный Костыль</A>
    <IMG SRC="http://img.combats.ru/i/align.gif" WIDTH=12 HEIGHT=15>  (Масса: 4) <BR>
    <b>Цена: 4 кр.</b><BR>
    Долговечность: 0/110</FONT><BR>

    <B>Требуется минимальное:</B><BR>&bull; Уровень: 4<BR>
    
    
    <B>Свойства предмета:</B><BR>&bull; Урон: 5 - 10<BR>&bull; Второе оружие<BR>
    
    <B>Особенности:</B><BR>&bull; Колющие атаки: Малы<BR>&bull; Дробящие атаки: Регулярны<BR>
    
    </td>
         <td align="center" valign="top" style='padding: 0,2,0,5'>
         <a href="/encicl/object/kostyl2.html"><SPAN style='background-color: #E0E0E0'><img src="http://img.combats.ru/i/items/kostyl2.gif" alt="kostyl2" name="image" border="0"></SPAN></a></td>
        </tr>
      </table>

      <br />
      
    
    <table width="95%"  border="0" align="center" cellpadding="3" cellspacing="0" class="inup3">
        <tr>
        <td width="100%">
    <A HREF="/encicl/object/kostyl1.html" target=_blank>Простой Костыль</A>
    <IMG SRC="http://img.combats.ru/i/align.gif" WIDTH=12 HEIGHT=15>  (Масса: 3) <BR>
    <b>Цена: 3 кр.</b><BR>
    Долговечность: 0/100</FONT><BR>
    
    <B>Требуется минимальное:</B><BR>&bull; Уровень: 4<BR>
    
    
    <B>Свойства предмета:</B><BR>&bull; Урон: 3 - 10<BR>&bull; Второе оружие<BR>
    
    <B>Особенности:</B><BR>&bull; Колющие атаки: Временами<BR>&bull; Дробящие атаки: Временами<BR>
    
    </td>
         <td align="center" valign="top" style='padding: 0,2,0,5'>
         <a href="/encicl/object/kostyl1.html"><SPAN style='background-color: #E0E0E0'><img src="http://img.combats.ru/i/items/kostyl1.gif" alt="kostyl1" name="image" border="0"></SPAN></a></td>
        </tr>
      </table>

      <br />
      
        <!-- End of text -->

Она получается путем этой строчки кода из всего исходного текста кода:

Код


preg_match_all("#<\!\-\-\sBegin\sof\stext\s\-\->(.+?)<\!\-\-\sEnd\sof\stext\s\-\->#s", $text, $mas);

Далее мы делит эту переменную с помощью функции explode (в данном случае получается 2 элемента):

Код


$data = explode("<br />", $mas[0][0]);

Если не очень понятно изъяснился - скажите, напишу полностью код с циклом и покажу чего именно не получается.

--------------------

• Все о событиях
• Объекты и массивы
• ОКНА И ФРЕЙМЫ

JAVA ≠ JavaScript

Wowa

Дата 14.5.2006, 17:23 (ссылка)

(нет голосов)

Загрузка ...

Эксперт

Профиль
Группа: Админ
Сообщений: 15017
Регистрация: 14.9.2000
Где: Винград

Репутация: нет
Всего: 290

Mal Hack, чем не нравится file_get_contents ?

Добавлено @ 17:30

Цитата(Aliance @ 14.5.2006, 16:18

)

Их нужно вырезать, думаю.

Код


$to_del=<<<EOF
      <b><br>
        &gt;&gt;</b> <a href="index.html">Содержание</a> /  <a href="subjects.html">Предметы</a> /  <a href="ammunition.html">Амуниция</a> /   <em><strong>Костыли</strong></em> 
EOF;

$mas[0][0]=str_replace($to_del, '', $mas[0][0]);

Цитата(Aliance @ 14.5.2006, 16:18

)

Далее мы делит эту переменную с помощью функции explode (в данном случае получается 2 элемента):

Да, два.. Но использовать <br /> разграничителем ненадежно.
Попробуй может хотя бы так, чтобы на переходы строк еще ориентироваться.

Код


$data = explode("\n<br />\n", $mas[0][0]);

А теперь доступ через $data[0] и $data[1]

Или можешь сразу в переменные, а не в массив:

list($mydata1, $mydata2) = explode("\n<br />\n", $mas[0][0]);

Aliance

Дата 14.5.2006, 18:03 (ссылка)

(нет голосов)

Загрузка ...

I ♥ <script>

Профиль
Группа: Модератор
Сообщений: 6418
Регистрация: 2.8.2004
Где: spb

Репутация: нет
Всего: 137

Wowa, твой код с переменной $to_del не подходит. Так как эти строчки меняются.

А на счет

Цитата(Wowa @ 14.5.2006, 18:23

)

Но использовать <br /> разграничителем ненадежно

так тут да, так канечно лучше, но посмотри в исходники страницы этой: http://capitalcity.combats.ru/encicl/crutch.html
Там все сделано именно так, чтобы программисты могли ее парсить. Обычные переносы там такие: <BR>, а разделитель именно такой: <br />
Но вообще тут я с тобой согласен smile

Вообще страницы там более менее одинаковые. Меняются данные, которые мне и нужно заполучить. Если бы не эти строчки - все бы было супер :-(

--------------------

• Все о событиях
• Объекты и массивы
• ОКНА И ФРЕЙМЫ

JAVA ≠ JavaScript

Mal Hack

Дата 14.5.2006, 18:07 (ссылка)

(нет голосов)

Загрузка ...

Мудрый...

Профиль
Группа: Участник Клуба
Сообщений: 9926
Регистрация: 15.2.2004

Репутация: 5
Всего: 261

Цитата(Wowa @ 14.5.2006, 17:23

)

Mal Hack, чем не нравится file_get_contents ?

Работает с удаленными файлами только при определенных настройках ПХП. А это дыра в безопасности.

Тебе вообще не так делать надо было smile

Вот:

Код

<?php

    $text;
    $mas;
    $match2;
    $data;
    $match;
    
    $fp = fsockopen("capitalcity.combats.ru", 80, $errno, $errstr, 30);
    
    if (!$fp) 
        {
            echo "Error ;)<br />\n";
        } 
    else 
        {
            $out =  "GET /encicl/crutch.html HTTP/1.1\r\n";
            $out .= "Host: capitalcity.combats.ru\r\n";
            $out .= "Connection: Close\r\n\r\n";
            
            fwrite($fp, $out);
            
            while (!feof($fp)) 
                {
                 $text .= fgets($fp, 128);
                }
                
            fclose($fp);
        }
        
    $text = preg_replace( "#^((.+)Содержание(.+))$#i" , "" , $text );

    preg_match("#<\!\-\-\sBegin\sof\stext\s\-\->(.+?)<\!\-\-\sEnd\sof\stext\s\-\->#s", $text , $m );
    preg_match_all( "#<table(.+?)>(.+?)</table>#s" , $m[0] , $mas );

    for($i = 0;$i<count($mas[0]);$i++)
        {
            $data = $mas[0][$i];
            
            preg_match_all("#<(?:a|img)?\s(?:.*?)(?:(?:src|alt|href)=(\"|\')(.+?)\\1)(?:.*?)>#ise", $data, $match2);
            
            $data = strip_tags($data);
            //$data= str_replace('&bull;', '<br />&bull;', $data);
            preg_match_all("#:(.+)#i", $data, $match);
        
            echo <<<EOS
<table width="95%"  border="0" align="center" cellpadding="3" cellspacing="0" class="inup3">
<tr>
<td width="100%">
<A HREF="/encicl/object/kostyl2.html" target=_blank>Укрепленный Костыль</A>
<IMG SRC="http://img.combats.ru/i/align.gif" WIDTH=12 HEIGHT=15>  (Масса{$match[0][0]} <BR>
<b>Цена{$match[0][1]}</b><BR>
Долговечность{$match[0][2]}</FONT><BR>
    
<B>Требуется минимальное</B>{$match[0][3]}<BR>
<B>Свойства предмета</B>{$match[0][4]}<BR>
<B>Особенности</B>{$match[0][5]}<BR>
    
</td>
<td align="center" valign="top" style='padding: 0,2,0,5'>
<a href="/encicl/object/kostyl2.html"><SPAN style='background-color: #E0E0E0'>
{$match2[0][6]}</SPAN></a></td>
</tr>
</table>
EOS;
        }

?>

Wowa

Дата 14.5.2006, 18:14 (ссылка)

(нет голосов)

Загрузка ...

Эксперт

Профиль
Группа: Админ
Сообщений: 15017
Регистрация: 14.9.2000
Где: Винград

Репутация: нет
Всего: 290

Цитата(Mal Hack @ 14.5.2006, 17:07

)

Работает с удаленными файлами только при определенных настройках ПХП. А это дыра в безопасности.

Должно быть включено fopen wrappers в php.ini. Не представляю, какая тут может быть дыра..

Aliance

Дата 14.5.2006, 18:21 (ссылка)

(нет голосов)

Загрузка ...

I ♥ <script>

Профиль
Группа: Модератор
Сообщений: 6418
Регистрация: 2.8.2004
Где: spb

Репутация: нет
Всего: 137

Mal Hack, не могу получить это:

Цитата

            echo <<<EOS
<table width="95%"  border="0" align="center" cellpadding="3" cellspacing="0" class="inup3">
<tr>
<td width="100%">
<A HREF="/encicl/object/kostyl2.html" target=_blank>Укрепленный Костыль</A>
<IMG SRC="http://img.combats.ru/i/align.gif" WIDTH=12 HEIGHT=15>  (Масса{$match[0][0]} <BR>
<b>Цена{$match[0][1]}</b><BR>
Долговечность{$match[0][2]}</FONT><BR>

<B>Требуется минимальное</B>{$match[0][3]}<BR>
<B>Свойства предмета</B>{$match[0][4]}<BR>
<B>Особенности</B>{$match[0][5]}<BR>

</td>
<td align="center" valign="top" style='padding: 0,2,0,5'>
<a href="/encicl/object/kostyl2.html"><SPAN style='background-color: #E0E0E0'>
{$match2[0][6]}</SPAN></a></td>
</tr>
</table>
EOS;

Хотя вот здесь мы это получили: http://forum.vingrad.ru/index.php?showtopi...st&p=730640

Это сообщение отредактировал(а) Aliance - 14.5.2006, 18:26

--------------------

• Все о событиях
• Объекты и массивы
• ОКНА И ФРЕЙМЫ

JAVA ≠ JavaScript

Mal Hack

Дата 14.5.2006, 18:29 (ссылка)

(нет голосов)

Загрузка ...

Мудрый...

Профиль
Группа: Участник Клуба
Сообщений: 9926
Регистрация: 15.2.2004

Репутация: 5
Всего: 261

Код

<?php

    $text;
    $mas;
    $match2;
    $data;
    $match;
    
    $fp = fsockopen("capitalcity.combats.ru", 80, $errno, $errstr, 30);
    
    if (!$fp) 
        {
            echo "Error ;)<br />\n";
        } 
    else 
        {
            $out =  "GET /encicl/crutch.html HTTP/1.1\r\n";
            $out .= "Host: capitalcity.combats.ru\r\n";
            $out .= "Connection: Close\r\n\r\n";
            
            fwrite($fp, $out);
            
            while (!feof($fp)) 
                {
                 $text .= fgets($fp, 128);
                }
                
            fclose($fp);
        }
        
    $text = preg_replace( "#^((.+)Содержание(.+))$#i" , "" , $text );

    preg_match("#<\!\-\-\sBegin\sof\stext\s\-\->(.+?)<\!\-\-\sEnd\sof\stext\s\-\->#s", $text , $m );
    preg_match_all( "#<table(.+?)>(.+?)</table>#s" , $m[0] , $mas );

    for($i = 0;$i<count($mas[0]);$i++)
        {
            $data = $mas[0][$i];
            
            preg_match("#<a href=(\"|\')(.+?)\\1(?:.*?)>(.+?)</a>#is", $data, $b3);
            preg_match_all("#<img src=(?:.+?)>#is", $data, $match2);

            $data = strip_tags($data);
            //$data= str_replace('&bull;', '<br />&bull;', $data);
            preg_match_all("#:(.+)#i", $data, $match);
        
            echo <<<EOS
<table width="95%"  border="0" align="center" cellpadding="3" cellspacing="0" class="inup3">
<tr>
<td width="100%">
<A HREF="http://combats.ru{b3[2]}" target=_blank>{$b3[3]}</A>
<IMG SRC="http://img.combats.ru/i/align.gif" WIDTH=12 HEIGHT=15>  (Масса{$match[0][0]} <BR>
<b>Цена{$match[0][1]}</b><BR>
Долговечность{$match[0][2]}</FONT><BR>
    
<B>Требуется минимальное</B>{$match[0][3]}<BR>
<B>Свойства предмета</B>{$match[0][4]}<BR>
<B>Особенности</B>{$match[0][5]}<BR>
    
</td>
<td align="center" valign="top" style='padding: 0,2,0,5'>
<a href="http://combats.ru{$b[2]}"><SPAN style='background-color: #E0E0E0'>
{$match2[0][1]}</SPAN></a></td>
</tr>
</table>
EOS;
        }

?>

Aliance

Дата 14.5.2006, 18:42 (ссылка)

(нет голосов)

Загрузка ...

I ♥ <script>

Профиль
Группа: Модератор
Сообщений: 6418
Регистрация: 2.8.2004
Где: spb

Репутация: нет
Всего: 137

Вот конечный, работающий вариант:

Код


<?php

function encyclopedia ($section) {

    if (empty($section)) {
       die("Отсутствует аргумент!");
    }

    $text;
    $mas;
    $match2;
    $data;
    $match;
    
    $fp = fsockopen("capitalcity.combats.ru", 80, $errno, $errstr, 30);
    
    if (!$fp) {
       echo "Error!\n<br />";
    } else {
       $out = "GET ".$section." HTTP/1.1\r\n";
       $out .= "Host: capitalcity.combats.ru\r\n";
       $out .= "Connection: Close\r\n\r\n";
            
       fwrite($fp, $out);
            
    while (!feof($fp)) {
       $text .= fgets($fp, 128);
    }
                
    fclose($fp);
    }
        
    $text = preg_replace("#^((.+)Содержание(.+))$#i", "", $text);

    preg_match("#<\!\-\-\sBegin\sof\stext\s\-\->(.+?)<\!\-\-\sEnd\sof\stext\s\-\->#s", $text, $m);
    preg_match_all("#<table(.+?)>(.+?)</table>#s", $m[0], $mas);

    for($i = 0;$i<count($mas[0]);$i++) {
            $data = $mas[0][$i];
            
            preg_match("#<a href=(\"|\')(.+?)\\1(?:.*?)>(.+?)</a>#is", $data, $b3);
            preg_match_all("#<img src=(?:.+?)>#is", $data, $match2);

            $data = strip_tags($data);
            $data = str_replace('&bull;', '<br />&bull;', $data);
            preg_match_all("#:(.+)#i", $data, $match);
        
echo <<<EOS
<table width="95%"  border="0" align="center" cellpadding="3" cellspacing="0" class="inup3">
<tr>
<td width="100%">
<A HREF="http://capitalcity.combats.ru{$b3[2]}" target=_blank>{$b3[3]}</A>
<IMG SRC="http://img.combats.ru/i/align.gif" WIDTH=12 HEIGHT=15>  (Масса{$match[0][0]} <BR>
<b>Цена{$match[0][1]}</b><BR>
Долговечность{$match[0][2]}</FONT><BR>
    
<B>Требуется минимальное</B>{$match[0][3]}<BR>
<B>Свойства предмета</B>{$match[0][4]}<BR>
<B>Особенности</B>{$match[0][5]}<BR>
    
</td>
<td align="center" valign="top" style='padding: 0,2,0,5'>
<a href="http://capitalcity.combats.ru{$b3[2]}"><SPAN style='background-color: #E0E0E0'>
{$match2[0][1]}</SPAN></a></td>
</tr>
</table>
EOS;
    }

}

//encyclopedia("/encicl/crutch.html");
encyclopedia("/encicl/knuckleduster.html");

?>

Это сообщение отредактировал(а) Aliance - 14.5.2006, 19:09

--------------------

• Все о событиях
• Объекты и массивы
• ОКНА И ФРЕЙМЫ

JAVA ≠ JavaScript

regret

Дата 22.7.2006, 21:24 (ссылка)

(нет голосов)

Загрузка ...

Шустрый

Профиль
Группа: Участник
Сообщений: 90
Регистрация: 19.5.2006

Репутация: нет
Всего: нет

вот блин!!! ищу в реале таких как ты для user posted image

.... Всё делай ручкаМИ!

(код скопировал себе в архивчеГ- пригодитсо user posted image

)

Это сообщение отредактировал(а) regret - 22.7.2006, 21:25

Guest

Дата 9.10.2006, 14:14 (ссылка)

(голосов: 0)

Загрузка ...

Unregistered

Уважаемые господа, не могли бы вы "прочитать" конструкцию типа (.*?) или (.+?), так вот как бы логика ястна, но не везде. И ещё в некоторых местах используется ключ #s - "<\!\-\-\sEnd\sof\stext\s\-\->#s" зачем он здесь и как бы он работал без него?

Спасибо, извеняюсь за ламерсие вопросы, но не мог найти оввет на них в другом месте

Aliance

Дата 9.10.2006, 14:50 (ссылка)

(нет голосов)

Загрузка ...

I ♥ <script>

Профиль
Группа: Модератор
Сообщений: 6418
Регистрация: 2.8.2004
Где: spb

Репутация: нет
Всего: 137

Первое - это управление жадностью квантификаторов. Про них читай в книгах о регульрных выражениях.

Второе - это модификатор s, обозначабщий строчность данных, где происходит поиск/замена. О них читай там же.

Это сообщение отредактировал(а) Aliance - 9.10.2006, 14:54

--------------------

• Все о событиях
• Объекты и массивы
• ОКНА И ФРЕЙМЫ

JAVA ≠ JavaScript

Guest

Дата 9.10.2006, 15:28 (ссылка)

(голосов: 0)

Загрузка ...

Unregistered

Большое спасибо, теперь буду знать что искать smile

dvska

Дата 17.10.2006, 15:53 (ссылка)

(нет голосов)

Загрузка ...

Бывалый

Профиль
Группа: Участник
Сообщений: 182
Регистрация: 30.1.2006

Репутация: нет
Всего: 9

Немного оффтоп, потому как не PHP (а Python), но
Посмотрите какая рульная либа: http://www.crummy.com/software/BeautifulSo...umentation.html

--------------------

1 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема \| PHP: Сеть \| Следующая тема »