Совсем забыл о простейших методах...

sTa1kEr, спасибо, заработало... Я думаю set_time_limit(90); помог.

Добавлено через 3 минуты и 36 секунд
Кстати созданный благодаря этому продукт... http://web-alt.ru/stat

Levsha, что-то у тебя не так работает. Попробуй введи nnm.ru и посмотри, сколько выведет проиндексированных страниц в Яндексе. Всего 2, в то время, как почти по любому запросу nnm.ru попадает в результаты поиска.

Для большинства сайтов выдает пустую страницу.

Добавлено через 5 минут и 22 секунды
Levsha, кстати, забавно, если ввести URL сайта web-alt.ru/stat/?url=ya.ru, то он отрабатывает нормально . Страшно подумать, что будет если вместо ya.ru подставить ссылку на анализ самой страницы (т.е. примерно так 'web-alt.ru/stat/?url=web-alt.ru/stat/?url=web-alt.ru/stat/?url=' итд). Имхо, надо исключать свой домен.

aktuba, ну так ты по ссылке ходил? Там действительно две страницы... Это нестрашно, пару дней назад я застал ситуацию, когда яндекс показывал что для моего сайта вообще нет проиндексированных страниц, хотя всегда показывал 49. У Яндекса такое бывает, и на выдачу это не влияет, просто какой-то пересчет данных...

aktuba, спасибо, что воспользовался серсисом. Буду рад слышать рекомендации и советы. Только тему желательно обсуждать здесь.

Добавлено @ 18:27

Да нет, я пробовал, ничего страшного не случается. Домен отделяется от остальной части, и по нему идет анализ, то что после "?" практически не учавствует в анализе

Добавлено @ 18:30
Большие проблемы с кодировками, непрерывно работаю над проектом уже 12 часов - сказывается

Это сообщение отредактировал(а) Levsha - 25.6.2007, 18:30

Я вообще-то там модер =))) Две страницы говоришь? Это на сайте, с более 1 000 000 зарегистрированных пользователей, более 20 000 личных дневников, в каждом из которых от 1 до 100 и более страниц по 15 новостей, а каждая новость - отдельная страница??? Чего-то ты загнул...

aktuba, по ссылке под цифрой 2 ты сходил??? Эх, все надо делать самому...
Вот эта ссылка. Как видишь, там действительно две страницы. Я всего лишь транслирую их результат. Повторяю, либо это временный глюк Яндекса, либо пиши платону

Добавлено через 2 минуты и 2 секунды
sTa1kEr, абсолютно все работает нормально, пока я не использую функцию MyDownload
Она постоянно в чем-нибудь глючит... Абидна

Кто сказал, что все сразу должно идеально работать, к тому же если учесть, что изначально она писалась как пример? С какими именно URL-ами она не работает и что не работает? Т.к. локально у меня проблем не обнаружилось.

sTa1kEr, так в том то и проблема,что не могу отловить на котором url происходит ошибка. У меня есть смутное сомнение, что на хостинге хреновый канал, и сайт просто не успевает ничего скачивать...

Написал простой класс работы с потоками (примерно тоже, что здесь выкладывали, только слегка модернизировал). Что бы не засорять форум исходниками выложил его в гугле http://multi-downoader.googlecode.com/svn/trunk/Downloader/ Там же лежит тестовый скрипт и лог выполнения этого скрипта у меня. Все 104 страницы скачались без проблем, правда как показал тест, производительность не высокая, как ожидалось. 44 секунды...
Levsha, попробуйте запустите тест, если будет ошибка, то в логах ее будет видно. Только не забудьте set_time_limit побольше поставить.

Это сообщение отредактировал(а) sTa1kEr - 26.6.2007, 13:41

sTa1kEr, спасибо, протестирую

А почему именно пхп применяется для такой задачи? Не проще ли заюзать другой ЯП с поддержкой потоков(нитей)?

Потому что я умею программировать на PHP  


Какой ЯП по твоему лучше подойдет?

Интересна реализация именно на пхп, т.к. на .NET, к примеру, это просто и очевидно, но подходит только для Windows платформ. На других прикладных языках будет слишком тяжело работать именно c Web (то , что на PHP одна встроенная функция, на C++ уже может потребовать своего объемного класс), а интегрировать PHP скрипт с какой-либо внешней программой- не менее проблематично, как и создавать мультипоточность в скриптовом языке.
И еще просто спортивный интерес, реализовывать на PHP то, для чего он в принципе не предназначен


nerezus, мне то же интересно, на каком языке вы предлагаете это реализовывать?

Это сообщение отредактировал(а) sTa1kEr - 28.6.2007, 10:36

Еще одно замечание по работе со stream functions. Как-то я совсем упустил из виду эту важную деталь... При отключенной блокировке потока, он не ждет данные, а только забирает то, что уже пришло на данный момент, поэтому просто использовать циклы нельзя, т.к. при очередной итерации данных еще может не быть и fread() вернет false...  Поэтому нужно перед чтением либо включать блокировку

Либо проверять на доступность, через тот же stream_select каждый раз