Привет, может кто подскажет какую-нибудь идею.

Дано: браузер, основной вебсервер, куча дополнительных вебсерверов с бекендами.

Запрос из браузера попадает на основной вебсервер, который в twisted выполняет асинхронно некоторую небольшую логику, запросы в базу и делает запросы к множеству удаленных вебсерверов.
Ответы от них приходят неравномерно и сразу по одному отправляются клиенту. Реализация когда ответ целым пришел - это стандартная вещь.

А как возможно реализовать такое проксирование, если ответы от удаленных агентов приходят в соединении с задержками по-строчно или по-символьно? Такое возможно когда удаленный вебсервер не делает кеширования от бекендов. Для нгинкса это можно выключением proxy_cache, lighttpd это по умолчанию использует.

Twisted используется потому что возможно множественное одновременное обращение клиентов и для кажного клиента делается проксирование на десяток удаленных агентов-бекендов.