VPF::Парсер и снова он родной - Форум программистов

kobNET

Дата 19.4.2007, 01:48 (ссылка)

(нет голосов)

Загрузка ...

Новичок

Профиль
Группа: Участник
Сообщений: 5
Регистрация: 19.4.2007
Где: Украина, Черкассы

Репутация: нет
Всего: нет

Здраствуйте, уважаемые профи, нужна ваша помощь! Дело обстоит так: хочу разработать парсер на php дляизвлечения инф. с HTML-страниц, но соображений как это организовать маловато. Имею знания php выше базовых. Хотел бы услишать какими функциями и методами php надо пользоватся, чтобы написать такой скрипт. Укажите какие разделы php надо изучить и, если не затруднит, поверхносно обьясните структуру такого скрипта и общие аспекты этого вопроса. Если вопрос сформулирован не совсем понятно, напишите, постараюсь выразится конкретней.
Зарание большое спасибо!

с ув. Александр

!
PARROT

Модератор: Название темы должно отражать ее суть!

Это сообщение отредактировал(а) PARROT - 19.4.2007, 10:14

-=Ustas=-

Дата 19.4.2007, 07:00 (ссылка)

(нет голосов)

Загрузка ...

Ustix IT Group

Профиль
Группа: Участник Клуба
Сообщений: 2222
Регистрация: 21.1.2005
Где: Краснодар

Репутация: 6
Всего: 69

Цитата(kobNET @ 19.4.2007, 01:48

)

Хотел бы услишать какими функциями и методами php надо пользоватся

1. fsockopen - для получения контента из УРЛ
2. Регулярные выражения - для парсинга нужной тебе инфы
3. preg_* - для работы с рег.вырами.

Цитата(kobNET @ 19.4.2007, 01:48

)

поверхносно обьясните структуру такого скрипта и общие аспекты этого вопроса.

Пользуй поиск. Тут уже достаточно много обсуждений было на тему парсеров smile

--------------------

В искаженном мире все догмы одинаково произвольны, включая догму о произвольности догм.
-----

capitan

Дата 19.4.2007, 10:33 (ссылка)

(нет голосов)

Загрузка ...

Опытный

Профиль
Группа: Участник
Сообщений: 602
Регистрация: 27.2.2005
Где: Москва

Репутация: 1
Всего: 13

Цитата

1. fsockopen - для получения контента из УРЛ

Из личного опыта советую использовать не fsockopen, а curl. Т.к у них намного больше возможностей. Например можно парсить информацию с сайтов где стоит авторизация, т.к. они работают с куками. Единственный минус,- они не выполняют JS. А так эмулируют работу браузера почти полностью.

-=Ustas=-

Дата 19.4.2007, 10:41 (ссылка)

(нет голосов)

Загрузка ...

Ustix IT Group

Профиль
Группа: Участник Клуба
Сообщений: 2222
Регистрация: 21.1.2005
Где: Краснодар

Репутация: 6
Всего: 69

Цитата(capitan @ 19.4.2007, 10:33

)

Из личного опыта советую использовать не fsockopen, а curl

Ну, Curl стоит использовать тогда, когда он действительно необходим. А так, для рядовых задач fsock* вполне достаточно smile

Тем более что Curl не накаждом хостинге есть.

--------------------

В искаженном мире все догмы одинаково произвольны, включая догму о произвольности догм.
-----

kobNET

Дата 20.4.2007, 08:33 (ссылка)

(нет голосов)

Загрузка ...

Цитата

1. fsockopen - для получения контента из УРЛ

Использую виртуальный хост. Скрипт инициирует поточное соединение, но выдает ошибку:

Цитата

Fatal error: Maximum execution time of 30 seconds exceeded

В чом здесь проблема?

Код


<?php
$link = 'www.test.ru';
$file = fsockopen($link, 80, $errno, $errstr, 30);
if(!$file) {
    print "$errsrt ($errno)<br>";
    exit;
} else {
              print "Соединение удалось...";
              while (!feof($file)) {
                        $line = fgets ($file, 1024);  // на этой строке указатель ошибки
              }
    }
?>

Это сообщение отредактировал(а) kobNET - 20.4.2007, 11:52

-=Ustas=-

Дата 20.4.2007, 09:27 (ссылка)

(нет голосов)

Загрузка ...

Ustix IT Group

Профиль
Группа: Участник Клуба
Сообщений: 2222
Регистрация: 21.1.2005
Где: Краснодар

Репутация: 6
Всего: 69

kobNET, а заголовки кто за тебя писать будет?!

--------------------

В искаженном мире все догмы одинаково произвольны, включая догму о произвольности догм.
-----

kobNET

Дата 20.4.2007, 09:41 (ссылка)

(нет голосов)

Загрузка ...

Цитата

а заголовки кто за тебя писать будет?!

Не понял вопроса. Какие заголовки?

capitan

Дата 20.4.2007, 14:56 (ссылка)

(нет голосов)

Загрузка ...

Опытный

Профиль
Группа: Участник
Сообщений: 602
Регистрация: 27.2.2005
Где: Москва

Репутация: 1
Всего: 13

Цитата(kobNET @ 20.4.2007, 09:41)

Цитата

а заголовки кто за тебя писать будет?!

Не понял вопроса. Какие заголовки?

А мануал не судьба почитать? http://www.php.net/manual/ru/function.fsockopen.php

Вот эти заголовки:

Код


    $out = "GET / HTTP/1.1\r\n";
    $out .= "Host: www.example.com\r\n";
    $out .= "Connection: Close\r\n\r\n";

Это сообщение отредактировал(а) capitan - 20.4.2007, 14:56

0 Пользователей читают эту тему (0 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема \| PHP: Тексты \| Следующая тема »