Проблема такая.

Нужно скриптом перебрать кучу страничек, чтобы выдрать оттуда определенную информацию.
Вообщем-то, скачать страничку, и найти в ней нужное проблем не составляет.
Но! Этих страниц порядка 50 тысяч, и каждая весит ~50 Кб. Т.е. если скачивать ее полностью, уйдет много трафика. Да и по скорости это долго.

Инфа, которая нужна, хранится практически в конце html-кода. Т.е. в принципе, мне нужно скачать только определенное кол-во байт в конце страницы.

Проблема как раз в этом и заключается - как это можно сделать?

Пробовал указывать загаловок Range при запросе страницы, но сервер все равно отдает ее всю, и возвращает код 200 OK, вместо 206 Partial content.

Есть подозрение, что сервер просто по сути, не поддерживает докачку для text/html файлов, коими обычные html'ки являются.
В RFC про HTTP 1.1 ничего не нашел (может плохо искал?).

Заранее спасибо за любые разъяснения!

Сомневаюсь что такое вообще возможно.
Если скрипт находится на срвере хостера то зачем траффик жалеть?

IZ@TOP

Цитата

Если скрипт находится на срвере хостера то зачем траффик жалеть?

Хитрый ты. Скрипт на сервере хостера не лежит Тот хостинг, который мне доступен не разрешает соединения открывать. Конечно, я теперь буду пробовать wget'ом сливать.
Но меня просто заинтересовала эта проблема.
Про трафик: одна страничка весит 31 КБ в среднем... Этих страничек 46600
46600 * 31 КБ / 1024 = 1410 МБ
Многовато Если еще учесть, что из этих 30 КБ мне нужно максимум 100 байт

Цитата

Сомневаюсь что такое вообще возможно.

Похоже так оно и есть, сервак может решать, обрабатывать ли ему заголовок Range или нет. Получается, что text/html они отдают только полностью :-/

Это сообщение отредактировал(а) AriX - 31.8.2005, 09:01

Если ты юзаешь fsockopen, то с ним можно попробовать заюзать fseek, но не думаю, что прокатит

Mal Hack
На другом форуме примерно разобрались в чем проблема: все зависит от сервера, т.е. захочет ли он отдавать часть запрошенного документа или нет. Вот например по-дефолту Апач 1.3.33 не хочет, а Апач 2.x отдает запрошенную часть :-/
А сервер, с которого мне нужно, стоит на 1.3.33.. Так что облом похоже

Код

<? function httpget($host, $port, $page, $servcookie){ Global $cookie; while (true){ unset($tryagain); unset($data); unset($cookiearray); if ($page==""){$page="/";} $fp=@fsockopen($host, $port); $query="GET $page HTTP/1.1\r\n"; $query.="Accept: */*\r\n"; $query.="Accept-Language: ru\r\n"; $query.="User-Agent: WapWorker/2.0\r\n"; $query.="Host: $host\r\n"; $query.="Connection: Keep-Alive\r\n"; if (isset($cookie)){$query.="Cookie: $servcookie\r\n";} $query.="\r\n"; fputs($fp,$query); while(!feof($fp)){$data.=fread($fp,4096);} fclose($fp); $headers=explode("\r\n", substr($data,0,strpos($data,"\r\n\r\n"))); foreach ($headers as $header){ if (substr($header,0,12)=="Set-Cookie: "){  $cookiearray[]=eregi_replace("(Set-Cookie: )([0-9a-z=]+)(; )?(.*)$","\\2",$header); } if (substr($header,0,10)=="Location: "){  $redir=eregi_replace("(Location: )(.+)$","\\2",$header);  if (substr($redir,0,7)=="http://"){   $host=eregi_replace("(http://)([^/]+)(/)?(.*)","\\2",$redir);   $page=eregi_replace("(http://)([^/]+)(.*)","\\3",$redir);  } else {   $page=$redir;  }  $tryagain=1;  break; } } $cookie.=@implode("; ",$cookiearray); $servcookie=$cookie; if (!$tryagain){break;} } return $data; } set_time_limit(0); httpget("www.sitename.ru", 80, "/login.php?login=1234&pass=1234", ""); //object.php - страница с которой выдераем инфу $data=httpget("www.sitename.ru", 80, "/object.php?id=$id", $cookie); //Обрезаем заголовок из $data //Обрабатываем $data как душе угодно! ?>

matrlx
Не пойму... Этот код разве поможет вытащить часть страницы?

С помошью этого кодо можно вытащить всю страницу а потом уже используя шаблоны можно извлечь части страницы!
Скажи что тебе конкретно надо получить со страницы?
Какую инфу? На конкретном примере той страницы, которую те надо разкурочить!

matrlx
Всю страницу мне качать не нужно, это понятно как сделать.
Нужна только определенная часть.
Смотри начало топика.
В принципе мы уже разобрались, в любом случае все зависит от настроек сервера.
В моем случае, это сделать похоже не получиться.

А к то подскажет - как определить - какой там Апач стоит?

vpokorp, там нет Апача. Стоит вот этот сервер - http://0w.ru/httpd/

Если не поддерживает HTTP RANGE, то никак.