1. Основной хост (директива Host:). Полезно указывать для Яндекса, когда есть зеркала сайтов. Также когда сайт продвигается и нужно указать основной хост без www или с www.
2. Сразу закрываются директории, которые не надо индексировать, чтобы не прописывать во всех файлах или если эти файлы не в формате html.
3. Закрываются для индексации части урлов, которые не надо индексировать и которые не возвращают ничего, кроме заголовков. (к примеру файлы, которые перекидывают на другие урлы (Location:) редиректы).
Через meta-теги закрываются части сайтов, которые вообще не желательны для глаз пользователей. (к примеру: система управления сайтов и т.д.)
Вобщем вот так
