как защитить мой сайт от сканирования ?
я разрабатываю разные системы, и мне иногда нужно скрыть некоторые участки от сканирования ...
я собственно не думал что смогу как то поймать сканеры, но когда я тестировал скрипт который сканирует, на мои сайты и на чужие, я наткнулся на сайт который ловил то что ето не в ручную заходят, и он подменял данные и вставлял нечто типа "боты на..."
мне это очень нужно, но я без понятия как это сделать!

Добавлено через 37 секунд
особенно в защиту от таких типов как громо пару тем ниже

полностью защититься никак нельзя.
с точки зрения сервера, что закачка через curl, что через firefox по структуре и механизму не будет отличаться ровно никак. разве что смотреть на заголовки(user-agent, cookie, referrer), но и их ничего не помешает "подделать"
если в заголовках отправляется USER-AGENT(кроме того, реальные клиенты могут с разной целью ставить себе "необычный" user-agent, или же файрвол может блокировать отправку этого заголовка "в целях анонимности", и тогда даже от реальных пользователей не будет приходить заголовок user-agent), то по отсутствующему user-agent уже никак не отсеять.
если межу запросами будет некая непостоянная задержка, то нельзя будет ориентироваться на "слишком быстро идут запросы, не похоже, чтоб это человек по ссылкам кликал"
если ориентироваться на установленные cookie, то, во-первых, и у "нормального" клиента могут быть отключены cookie, а во-вторых, опять же, ничто не помешает в заголовках при закачке через curl отправлять необходимое значение cookie.

Хм, а если я на тот сайт к примеру зашел, и делаю курл, то он смотрит на страницу как гость или как пользователь?
Если как гость, который никогда не заходил ранее на сайт, то таки можно это дело отловить через cookie...

Это сообщение отредактировал(а) Muerto - 11.7.2010, 16:24