Без нормального поискового рейтинга, к примеру, никакой разумной монетизации не бывает. Не говоря о то, что поисковый рейтинг - ценность сам по себе.Про файл robots.txt лучше почитать на http://help.yandex.com/webmaster/controlling-robot/robots-txt.xml и на https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt/ Сам файл имеет смысл для разумных роботов, типа yandex или google. Они сначала считывают этот файл, анализируют его, потом действуют по его правилам. Всякие самодельные боты таким умом не обладают. Банить google и yandex неразумно, проще ограничить их аппетиты с помощью robots.txt
Боты, которые позиционируют себя как поисковые, обычно имеют уникальный User Agent и не меняют его. Так что банить разумно именно по user Agent'у. Ip адреса у ботов разнообразны и меняются. Нужных агентов отлавливать по логам.