В общем есть задача. 
Спайдер обходит сайт X c глубиной ссылок N. 
Систематический обход по расписанию.
Обходить он должен уметь разными User-Agent. 

Результат обхода: 
Размер каждой страницы. 
Средний размер по сайту. 
Время ответа страницы. 
Среднее время ответа страниц на сайте. 
Полный список страниц которые были пройдены со всеми данными. 


Должна быть веб-форма где это можно посмотреть. 
Где можно добавить сайт в мониторинг. 
Где можно добавлять User-Agent. 
Изменить расписание обходов.
Видеть динамику по дням(среднее время ответа каждый день) 

Сервер debian, на нем есть java php apache (возможно томкат). 
Можем рассмотреть вариант паука на вашем сервере. 


Нужно оценить срок (примерный, так как задача примерная тоже, но если и будут изменения - то незначительные) 
Стоимость разработки.

http://pavuk.sourceforge.net/

Я бы всялся писать на .NET за $300 и месяц работы.

А потом бы на дебиан через моно всё это, на котором ява, пхп и апач