привет. есть большой html-список ссылок, генерируемый PHP из простого текстового списка.
нужно как то пройтись (либо PHP во время генерации, либо JS после загрузки) по списку и проверить ссылки на валидность.
все страница расположены на narod.ru и при неправильной ссылке выводится эта страница.
нужно как-то открыть эти ссылки и узнать, какие из них приводят на 404-ю и записать их, чтобы потом можно было в ручную исправить.
вот, как это сделать? может, фреймами/окнами или ещё как...

Думаю тебе нужно решать эту задачу здесь, ибо будет более корректным. Но это мое имхо.

не хотелось бы php юзать...

Иначе придётся юзать либо убогий IFRAME, либо XmlHttpRequest.
Имхо лучше это делать на сервере.

не понял...

Что именно?

Второе же итак связано с серверными языками. А первое, как ты правильно заметил, больно устаревший способ решения задач.

Вот именно, поэтому я предложил работать на стороне сервера.

Alx, ну что тут не понятного?
Есть как я уже сказал 3 варианта:
1) обрабатывать всё на сервере
2) юзать IFRAME. Загружаешь в него проверяемые ссылки, выдираешь контент в переменную и анализируешь на текст, где должно быть что-то из: 404, Not found.
3) юзать XmlHttpRequest — это опять же запрос на сервер, т.е. с его помощью отсылаешь запрос на сервер и если ссылка битая, то прийдёт заголовок с кодом 404

Вот собсна и всё.

Ciber SLasH,
в чем разница между первым и третим?
и как получить контент из iframe содержимое которого на другом узле?

Тем, что на сервере это быстрее и клиентский код будет намного меньше, чем при использовании 3-го метода, а уменьшение кода благополучно влияет на быстроту загрузки.


http://forum.vingrad.ru/index.php?showtopic=73988

Ciber SLasH,
я тебя не понимаю...
кто-нибудь ещё скажите мне, что сделать это средствами JS нельзя и я успокоюсь и сделаю через PHP.

Сделать можно, только нужно ли…

Alx, при попытке что-либо прочитать из чужого фрейма идёт ошибка доступа к другому сайту. Поэтому, что пришло - как узнаешь?

Если по XMLHttpRequest, то в FF не работает, а так - получишь код возврата. Так что, я вижу, что можно только для IE. Есть у кого другиек методы?

12345c,
да мне пофиг какой браузер))))
мне надо просто "пропинговать" УРЛы, чтобы узнать какие из низ валидны, а какие - нет, чтобы в ручную ихисправить.



но это же опять идет использование php.
просто я не хочу пользоваться сокетами и все такое. это слишком муторно.

где-то тут видел что-то вроде


разве эта функция работает для страниц на другом сервере?

Это сообщение отредактировал(а) Alx - 13.3.2006, 13:26

Нет, грузишь сразу проверяемый УРЛ в объект XMLHttp и смотришь состояние.

12345c,
сорри, но см. первый пост...

Т.е. 404-я ошибка не выдаётся? Я бы попробовал извлечь что-то по XMLHttpRequest на клиенте, заранее сказать трудно.

Через прокси на сервере, конечно, будет работать, контент проанализируется.

Это сообщение отредактировал(а) 12345c - 13.3.2006, 19:11

эх, лана, буду тра**ть сокеты)
всем пасиб)

Можно попробовать сделать мегахитрую вещь ( )) ). На своем серваке настроть mod_rewrite на другой домен и от туда подкачивать данные XMLHttpRequest ом (который ссылаться будет уже на твой домен).

совершенно точно работает. я вместо сокетов ее использую

Aliance,
ухт...
тогда, наверное, всё будет гораздо проще...)
спасибо большое!!)

file_get_contents(), конечно, работает вместо сокетов, с одним условием. Сервер не должен стоять за прокси, иначе без сокетов не обойтись.

Если пофиг какой браузер, то можно таким методом для IE сделать (остальные браузеры, как оказалось ни так, ни через IFRAME не позволяют к чужим доменам обращаться):


Это сообщение отредактировал(а) Ciber SLasH - 14.3.2006, 12:40

Вот нашел еще:

рибята!!!
спасибо всем, но вот эта страница не существует!!! а ошибку 404 не возвращает!

Alx, разумеется не возвращает . file_get_contents никоим образом не работает с заголовками. Для того, чтобы их получить используй fsockopen или получай страницу через mod_rewrite (читай мой, очередной раз проигнорированный, последний пост).

S.A.P.,
я всё понимаю) мне наоборот нужно было именно народовскую страницу "простукивать"!
поэтому file_get_contents() подходит, а просто реквест и проверка на загрузку документа - нет!!
(см. первый пост)

Alx, еще раз .

У нас есть сервер A, к которому мы имеем прямой доступ. Где - то там есть сервер B. На сераере B есть некоторые страницы, список которых у нас имеецца.

Задача: определить, запросы на какие страницы вернут 404 Not found и на какие 200 OK. Я правильно понял?

Если да, то сам контент запрашиваемых страниц нас не интересует (поэтому file_get_contents тут не к месту). А интересуют нас заголовки, которые вернутся с сервера B в ответ на HEAD запрос.

Решение:
1. На сервере, при помощи fsockopen и fwrite составлять HEAD запросы к твоему узлу по каждому URL из списка и читать заголовки, которые возвращаются.
2. Либо на сервере установить mod_rewrite с сервера A на сервер B, что нам позволит общаться HEAD запросами с сервером B из Java скрипта.

о Боги, нет!)))


народовские страницы не возвращают not found!
они возвращают дефолтовую страницу! там написано что страница не найдена.
поэтому тут как раз подходит просто поискать file_get_contents()'ом слова той деволтовой страницы.

проблема решена! всем спасибо!)))))

Пометить как решённый

Есть: пометить, как решеный

Ужос.

Alx, дружеский совет: на досуге поискать в интернете:
1. Что такое заголовки и какие заголовки в каких ситуациях сервер возвращает.
2. Что такое HEAD запрос, где он применяется и чем отличается от GET запросов.
3. Почему нужно использовать fsockopen вместо file_get_contents для получения информации с другого узла.

ну и еще вот это статейку http://premshree.livejournal.com/66129.html?thread=881233 на закуску.

S.A.P.,
ты меня не понимаешь)))))

Парни, вроде вопрос уже решён, что ещё требуется?