Добрый день, 

хочу спросить кто какие защиты от граббинга встречал и как их обойти

1. Защита, когда блокирует "жадно присосавшийся" грабер решается путем выставления задержки.
2. Если блокирует по IP используют ряд прокси серверов или купленный у провайдера некоторое количество IP
3. Бывает что меню на Jscript - тогда смотрят снифером (в принципе не страшно - меню большим не делают)
4. Бывает проверяют заголовки - понятно как их подделать
5. Недавно делал скачку файлов, там их защитили jscript, но выставили метки типа id=, проанализировав http заголовки - вычислил ссылки на реальные файлы (classon.ru).

и вот вопрос, 
а можно ли так навертеть Jscript, что вообще не сграбить ??? толи я чего не пойму?
вот пример, который прямо поставил меня в тупик.

http://999.md/Board/All.aspx?catId=659
получаю через get - В тексте только какие то Скрипты и все... никаких ID= ничего.
То есть через снифер (тампер дата) я вижу куда с этой страницы идет ссылка, но как ее найти на странице
http://999.md/Board/All.aspx?catId=659 или хотя бы как нибудь вычислить?

Или бывают такие вот защищенные сайты , что никак их не сграбишь?
как еще можно подойти?

причем в файрфоксе если нажать "исходный код" - то тоже одни джава скрипты, а если выделить фрагмент и нажать "исходный код выделенного фрагмента" - то все показывает нормально и текст виден и ссылки... В чем тут секрет?

Какое это отношение имеет к перлу?

я пишу на нем грабер 

Есть вариант старинный, сам не пробовал, да и нагрузка на отдачу будет большая. 

Решение: 

Отдавать все страницы сайта в виде картинок, создавать скриптом картинку и пихать туда страницы. Но еще надо будет туда их напихать без html тегов, вот где засада.

И как поисковые системы все это будут индексировать?

Вопрос пока стоит о защите данных. К примеру человек написал книгу и хочет выложить в сеть, что-бы эту книгу не скопипастили этот вариант вполне приемлем. Но этого мало, надо еще доработать этот вариант. 

Очень просто. Текстовую часть отдавать в составе страницы, но тщательно перемешанную - например телефоны отдельно, фирмы отдельно, чтобы смысла грабить не было.

Как вариант сделать привязку к PHP сесии, или с помощью java как к примеру тут http://www.vestum.ru/items/2, также можно телефонный номер или другой, сделать картинкой, ну или кусочек текста, также можно сделать капчу при частом обращении к странице 

>Отдавать все страницы сайта в виде картинок,
если очень надо - будут грабить картинки и распознавать их)

Пробовал распознавать картинки?

Ничего в этом особо сложного нет, если там просто текст будет, на томже перле можно написать обработчик

На самом деле защиты не существует - выкачать можно все. Владелец оценивает важность данных и тратится на сообразную защиту. Жулик прикидывает рентабельность обхода оной защиты. Вот и все что тут можно сказать.

К вопросу о защите: можно совместить защиту по ip с привязкой отдаваемых данных к ip. Например сложная древовидная структура данных может менять положение своих нод в зависимости от ip. Это в определенной степени защитит от использования прокси. Еще можно иногда делать закольцовку - дочерняя нода ссылается на родителя. Человек это воспримет как баг, обновит страницу и все. А автоматический парсер зависнет.

Это сообщение отредактировал(а) infarch - 26.8.2011, 10:27