Модераторы: skyboy, MoLeX, Aliance, ksnk

Поиск:

Ответ в темуСоздание новой темы Создание опроса
> Подгрузка нескольких потоков, Скачиваю сайты 
V
    Опции темы
vasac
Дата 28.6.2007, 12:05 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
***


Профиль
Группа: Завсегдатай
Сообщений: 1060
Регистрация: 4.5.2006

Репутация: нет
Всего: 36



Блокировку включать нельзя. Какой тогда смысл в ее отключении?
Нужно просто не проверять fRead на false, а смотреть fEof
PM WWW   Вверх
sTa1kEr
Дата 28.6.2007, 13:19 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


9/10 программиста
***


Профиль
Группа: Завсегдатай
Сообщений: 1553
Регистрация: 21.2.2007

Репутация: 11
Всего: 146



Цитата(vasac @  28.6.2007,  12:05 Найти цитируемый пост)
Блокировку включать нельзя. Какой тогда смысл в ее отключении?

Смысл в асинхронных соединении, отправке запроса и получения ответа. Но вы правы, что читать данные будет эффективнее именно во втором случае.
Цитата(vasac @  28.6.2007,  12:05 Найти цитируемый пост)
Нужно просто не проверять fRead на false, а смотреть fEof 

Просто проверять на eof не достаточно, нужно так же проверять и на false иначе цикл будет идти в пустую.




Это сообщение отредактировал(а) sTa1kEr - 28.6.2007, 13:19
PM MAIL   Вверх
vasac
Дата 28.6.2007, 14:46 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Эксперт
***


Профиль
Группа: Завсегдатай
Сообщений: 1060
Регистрация: 4.5.2006

Репутация: нет
Всего: 36



Ну и пусть идет впустую. Думаете шестеренке в процессоре износятся?
PM WWW   Вверх
sTa1kEr
Дата 28.6.2007, 18:49 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


9/10 программиста
***


Профиль
Группа: Завсегдатай
Сообщений: 1553
Регистрация: 21.2.2007

Репутация: 11
Всего: 146



Цитата(vasac @  28.6.2007,  14:46 Найти цитируемый пост)
Ну и пусть идет впустую. Думаете шестеренке в процессоре износятся? 

Так это будет то же самое, как если включить блокировку.
PM MAIL   Вверх
nerezus
Дата 28.6.2007, 18:53 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Вселенский отказник
****


Профиль
Группа: Участник
Сообщений: 3330
Регистрация: 15.6.2005

Репутация: нет
Всего: 43



sTa1kEr, а чем плохи питон? или даже джава(крупная артиллерия)?


--------------------
Сообщество художников Artsociety.ru
PM MAIL WWW   Вверх
sTa1kEr
Дата 28.6.2007, 19:34 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


9/10 программиста
***


Профиль
Группа: Завсегдатай
Сообщений: 1553
Регистрация: 21.2.2007

Репутация: 11
Всего: 146



Цитата(nerezus @  28.6.2007,  18:53 Найти цитируемый пост)
sTa1kEr, а чем плохи питон? или даже джава(крупная артиллерия)? 

Питон... я его почти не знаю, мне с первого знакомства не понравился его синтаксис и я не стал с ним разбиратся (хотя, может быть, зря...).
Джава да, вполне подошла бы, но все же на ней намного сложнее разрабатывать веб приложения, нежели на PHP. Да и для нее требуется JRE... Наверное, тогда уж лучше всего бы подошел Mono  (кроссплатформенный .NET, артиллерия будет не слабее Джавы!), но он еще сыроват и для него нету хорошего IDE...

Кстати, есть пару интересных абзацев в статье Рынок разработки переполнен недоучками – PHP и хорош и плох своей простотой. Из-за этой простоты и начинаешь требовать от PHP почти не возможного, потому-что иначе - не интересно smile
PM MAIL   Вверх
Levsha
Дата 7.7.2007, 03:29 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 294
Регистрация: 30.9.2005

Репутация: нет
Всего: 4



sTa1kEr, я прогнал ваши скрипты(на гугле которые). Действительно работает лучше первого скрипта. Пытаюсь подогнать под себя.


--------------------
PM   Вверх
Levsha
Дата 8.7.2007, 03:38 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 294
Регистрация: 30.9.2005

Репутация: нет
Всего: 4



Отлично, скрипты работают гораздо точнее. Но вот проблема - не качается webalta.
Например
Код

$urls = array("http://www.webalta.ru/search?q=web-alt.ru","http://www.webalta.ru/search?q=www.web-alt.ru");
$down = new Downloader();
$down->AddLogEngine("downloader.log");
try
{
   $data = $down->DownloadToArray($urls);
   var_dump($data);
}
catch (Exception $ex)
{
   $down->ToLog($ex);
}


Добавлено через 1 минуту и 10 секунд
Я опасаюсь что на webalte могли просто забанить мой IP. Проверьте пожалста у себя.


--------------------
PM   Вверх
sTa1kEr
Дата 10.7.2007, 21:22 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


9/10 программиста
***


Профиль
Группа: Завсегдатай
Сообщений: 1553
Регистрация: 21.2.2007

Репутация: 11
Всего: 146



Levsha, работает, но почему-то сервер выдает 500ую ошибку. Причем в браузере тоже сначала выдавал, теперь в браузере нормально. Надо с запросом поколдавать.
PM MAIL   Вверх
Levsha
Дата 26.7.2007, 00:28 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 294
Регистрация: 30.9.2005

Репутация: нет
Всего: 4



Я с портами пробовал, все равно глючит... Да вебальта вся какая-то кривая...


--------------------
PM   Вверх
Anarki
Дата 30.7.2007, 16:30 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 326
Регистрация: 14.3.2005

Репутация: 1
Всего: 11



Цитата(sTa1kEr @  15.6.2007,  15:04 Найти цитируемый пост)
На 4ом не будет работать только функция stream_socket_client и соответственно асинхронное соединение. Вместо нее можно использовать обычный fsockopen. Все остальное будет работать и на 4ом PHP.

Единственное, что fsockopen может оказаться большим тормозом в такой системе, ибо он ресолвит имена и создает подключение и прервать никак нельзя. Поэтому для быстройдействия нужно будет отказаться от fsockopen и streams в сторону socket функций


--------------------
PM WWW   Вверх
teroni
Дата 6.10.2007, 12:30 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 381
Регистрация: 15.5.2007
Где: Днепропетровск

Репутация: 1
Всего: 22



sTa1kEr, можно вопросик по скрипту с потоками... Почему он так сервер грузит? У меня вот просто рефрешем страницы с этим скриптом (качается 6 потоков инфы каждый раз) Апач убивается за полчаса smile Причем не пойму, из-за чего... :(
PM MAIL   Вверх
sTa1kEr
Дата 6.10.2007, 13:15 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


9/10 программиста
***


Профиль
Группа: Завсегдатай
Сообщений: 1553
Регистрация: 21.2.2007

Репутация: 11
Всего: 146



teroni, хм... не наблюдал такого. А что говорит top во время скрипта? Какой процесс грузит сервер и сколько съедает памяти? Как часто рефреш происходит?
PM MAIL   Вверх
Levsha
Дата 6.10.2007, 13:45 (ссылка) | (нет голосов) Загрузка ... Загрузка ... Быстрая цитата Цитата


Опытный
**


Профиль
Группа: Участник
Сообщений: 294
Регистрация: 30.9.2005

Репутация: нет
Всего: 4



teroni, использую скрипт 150-250 раз в день по 20 потоков уже месяца два. Никаких проблем.


--------------------
PM   Вверх
Ответ в темуСоздание новой темы Создание опроса

Внимание: данный раздел предназначен для решения сложных, нестандартных задач.

 
1 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей)
0 Пользователей:
« Предыдущая тема | PHP: Для профи | Следующая тема »


 




[ Время генерации скрипта: 0.1129 ]   [ Использовано запросов: 21 ]   [ GZIP включён ]


Реклама на сайте     Информационное спонсорство

 
По вопросам размещения рекламы пишите на vladimir(sobaka)vingrad.ru
Отказ от ответственности     Powered by Invision Power Board(R) 1.3 © 2003  IPS, Inc.