В рамках саморазвития решил освоить питон и в качестве учебного примера написать паука, который будет шастать в свободном полете по сети и собирать всякую статистику.
Поскольку паук будет работать долго (сутки, двое, неделю или пока не надоест) хочется ограничить ему скорость скачивания из сети, чтобы канал полностью не забивал.

Есть ли в питоне модули, которые позволяют это сделать? Поскольку речь идет об HTTP, желательно, чтобы модуль поддерживал работу с оным на достаточно высоком уровне (в духе curl), или были соответствующие надстройки над ним.

Контролируемое скачивание
Контролируемое скачивание 2

pythonwin, это строго противоположная задача 
По вашим ссылкам решалась проблема ограничения скорости отдачи файла пользователю, а мне нужно ограничить скорость приема с моей стороны.

учитывая что Иван использовал не собственные разработки, а готовые и довольно рапрастраненные библиотеки, считаю что Вам просто необходимо попробовать его метод только со знаком в обратную сторону.


Это сообщение отредактировал(а) pythonwin - 29.1.2009, 13:09

Alex13,  посмотрите pycurl и его опции http://curl.haxx.se/libcurl/c/curl_easy_setopt.html

Alex13, для описанной задачи должны сгодиться CURLOPT_MAX_SEND_SPEED_LARGE и CURLOPT_MAX_RECV_SPEED_LARGE из curl'а.

FooBar, pythonwin, а если также хочется ограничить нагрузку на запрашиваемые сайты? Не стучаться к одному домену чаще N раз в секунду/минуту, например? Можно ли добиться этого средствами curl? Описание опций не помогло.