Модераторы: skyboy, MoLeX, Aliance, ksnk
  

Поиск:

Ответ в темуСоздание новой темы Создание опроса
> Скорость парсинга, Как увеличить? 
:(
    Опции темы
SqueeZe
Дата 2.6.2008, 11:51 (ссылка)    | (голосов:5) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок



Профиль
Группа: Участник
Сообщений: 48
Регистрация: 1.10.2007
Где: Санкт-Петербург

Репутация: 1
Всего: 1



Здравствуйте.

Тут пришлось занятся такой вещью, как парсинг html-страниц, с целью выдирания оттуда определенных данных и складирования их в БД.
В чем же проблема? В связи с тем, что страниц, подлежащих парсингу довольно много (например для порядка 4000 наименований, нужно для каждого выбирать данные из нескольких страниц), время затрачиваемое на парсинг даже в условиях широкого канала довольно велико. Интересуясь скоростью выполнения скрипта, и проведя пару тестов, я выяснил, что основное время уходит на запрос содержимого страницы, а не на дальнейший парсинг. Получаю содержимое страницы функцией file_get_contents(). Возможно есть более шустрые способы, предложения которых я и хотел бы услышать от участников форума.

С Уважением, Константин.


PM MAIL ICQ   Вверх
americanets
Дата 2.6.2008, 13:11 (ссылка) |    (голосов:2) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
***


Профиль
Группа: Завсегдатай
Сообщений: 1100
Регистрация: 27.9.2006

Репутация: 5
Всего: 12



для получения страниц сокеты и курл в мануале по file_get_contents есть примеры, чтоб лишний раз не пользовали функцию для работы с файлами которая вобщем-то для этого не предназначена

Код


function curl_get_file_contents($URL)
    {
        $c = curl_init();
        curl_setopt($c, CURLOPT_RETURNTRANSFER, 1);
        curl_setopt($c, CURLOPT_URL, $URL);
        $contents = curl_exec($c);
        curl_close($c);

        if ($contents) return $contents;
            else return FALSE;
    }



--------------------
Пусть популярную музыку слушают те, среди кого она популярна
PM   Вверх
SqueeZe
Дата 2.6.2008, 19:41 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Новичок



Профиль
Группа: Участник
Сообщений: 48
Регистрация: 1.10.2007
Где: Санкт-Петербург

Репутация: 1
Всего: 1



Спасибо. Стало работать на порядок быстрее.
PM MAIL ICQ   Вверх
  
Ответ в темуСоздание новой темы Создание опроса
Правила форума "PHP"
Aliance
IZ@TOP
skyboy
SamDark
MoLeX

Новичкам:

  • PHP редакторы собираются и обсуждаются здесь
  • Электронные книги по PHP, документацию можно найти здесь
  • Интерпретатор PHP, полную документацию можно скачать на PHP.NET

Важно:

  • Не брезгуйте пользоваться тегами [code=php]КОД[/code] для повышения читабельности текста/кода.
  • Перед созданием новой темы воспользуйтесь поиском и загляните в FAQ
  • Действия модераторов можно обсудить здесь

Внимание:

  • Темы "ищу скрипт", "подскажите скрипт" и т.п. будут переноситься в форум "Web-технологии"
  • Темы с именами: "Срочно", "помогите", "не знаю как делать" будут УДАЛЯТЬСЯ

Если Вам понравилась атмосфера форума, заходите к нам чаще! С уважением, IZ@TOP, skyboy, SamDark, MoLeX, awers.

 
1 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема | PHP: Общие вопросы | Следующая тема »


 




[ Время генерации скрипта: 0.0608 ]   [ Использовано запросов: 21 ]   [ GZIP включён ]


Реклама на сайте     Информационное спонсорство

 
По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности     Powered by Invision Power Board(R) 1.3 © 2003  IPS, Inc.