| Версия для печати темы
Нажмите сюда для просмотра этой темы в оригинальном формате |
| Форум программистов > Perl: разработка для Web > защита от граббинга |
| Автор: burakov 13.4.2011, 23:23 |
| Добрый день, хочу спросить кто какие защиты от граббинга встречал и как их обойти 1. Защита, когда блокирует "жадно присосавшийся" грабер решается путем выставления задержки. 2. Если блокирует по IP используют ряд прокси серверов или купленный у провайдера некоторое количество IP 3. Бывает что меню на Jscript - тогда смотрят снифером (в принципе не страшно - меню большим не делают) 4. Бывает проверяют заголовки - понятно как их подделать 5. Недавно делал скачку файлов, там их защитили jscript, но выставили метки типа id=, проанализировав http заголовки - вычислил ссылки на реальные файлы (classon.ru). и вот вопрос, а можно ли так навертеть Jscript, что вообще не сграбить ??? толи я чего не пойму? вот пример, который прямо поставил меня в тупик. http://999.md/Board/All.aspx?catId=659 получаю через get - В тексте только какие то Скрипты и все... никаких ID= ничего. То есть через снифер (тампер дата) я вижу куда с этой страницы идет ссылка, но как ее найти на странице http://999.md/Board/All.aspx?catId=659 или хотя бы как нибудь вычислить? Или бывают такие вот защищенные сайты , что никак их не сграбишь? как еще можно подойти? причем в файрфоксе если нажать "исходный код" - то тоже одни джава скрипты, а если выделить фрагмент и нажать "исходный код выделенного фрагмента" - то все показывает нормально и текст виден и ссылки... В чем тут секрет? |
| Автор: KSURi 14.4.2011, 13:00 |
| Какое это отношение имеет к перлу? |
| Автор: burakov 14.4.2011, 13:12 |
| я пишу на нем грабер |
| Автор: Marlik 30.6.2011, 17:34 |
| Есть вариант старинный, сам не пробовал, да и нагрузка на отдачу будет большая. Решение: Отдавать все страницы сайта в виде картинок, создавать скриптом картинку и пихать туда страницы. Но еще надо будет туда их напихать без html тегов, вот где засада. |
| Автор: Technic 22.7.2011, 14:02 | ||
И как поисковые системы все это будут индексировать? |
| Автор: Marlik 22.7.2011, 20:30 |
| Вопрос пока стоит о защите данных. К примеру человек написал книгу и хочет выложить в сеть, что-бы эту книгу не скопипастили этот вариант вполне приемлем. Но этого мало, надо еще доработать этот вариант. |
| Автор: Pilat66 9.8.2011, 08:29 | ||||
Очень просто. Текстовую часть отдавать в составе страницы, но тщательно перемешанную - например телефоны отдельно, фирмы отдельно, чтобы смысла грабить не было. |
| Автор: warlock000 25.8.2011, 08:28 |
| Как вариант сделать привязку к PHP сесии, или с помощью java как к примеру тут http://www.vestum.ru/items/2, также можно телефонный номер или другой, сделать картинкой, ну или кусочек текста, также можно сделать капчу при частом обращении к странице |
| Автор: aleron 25.8.2011, 14:39 |
| >Отдавать все страницы сайта в виде картинок, если очень надо - будут грабить картинки и распознавать их) |
| Автор: Marlik 26.8.2011, 06:52 | ||
Пробовал распознавать картинки? |
| Автор: warlock000 26.8.2011, 09:56 | ||
Ничего в этом особо сложного нет, если там просто текст будет, на томже перле можно написать обработчик |
| Автор: infarch 26.8.2011, 10:26 |
| На самом деле защиты не существует - выкачать можно все. Владелец оценивает важность данных и тратится на сообразную защиту. Жулик прикидывает рентабельность обхода оной защиты. Вот и все что тут можно сказать. К вопросу о защите: можно совместить защиту по ip с привязкой отдаваемых данных к ip. Например сложная древовидная структура данных может менять положение своих нод в зависимости от ip. Это в определенной степени защитит от использования прокси. Еще можно иногда делать закольцовку - дочерняя нода ссылается на родителя. Человек это воспримет как баг, обновит страницу и все. А автоматический парсер зависнет. |
