Бекграунд.
Дабы вы смогли луше понять мой вопрос, изложу общую задачу. Пишу кеширующий HTTP прокси-сервер с пулом рабочих потоков и poll()'ом в основе, в рамках курсовой, кеш должен жить в оперативной памяти. Помимо прочего требуется корректно отрабатывать такой сценарий:
1) Приходит запрос, в целом удовлетворяющий требованиям для помещения в кеш.
2) Начинается загрузка файла в кеш. При этом файл отдается в chunked encoding, т. е. в заголовке его длина не указывается.
3) Параллельно из записи в кеше данные начинают отдаваться клиенту.
4) В это время приходит второй запрос к тому же адресу. Вместо того, чтобы начать его качать еще раз мы, естественно, присасываемся к существующей (недокачанной) записи кеша и так же начинаем отдавать оттуда данные по мере появления.
5) Спустя некоторое время мы видим, что файл оказался большой (например, скачали 100 мб и продолжаем качать) и в память рискует не поместиться, поэтому мы переключаемся в "разрушающий" режим работы буффера кеша. При этом данные, которые были отправлены всем успевшим подключиться должны из буфера удаляться, чтобы освободить память. Естественно, после этого момента подключение новых клиентов к этой записи кеша уже невозможно.
6) После того, как файл докачался и был отдан всем клиентам, запись кеша уничтожается.
Задача
По замыслу происходить это будет так: один "логический" поток (т. е. общая последовательность действий, хоть она и может исполняться разными воркерами) будет качать файл и писать в кеш, другой - отдавать клиенту. Мне требуется структура данных, буффер, удовлетворяющий следующим требованиям:
1) Динамически расширяющийся, хранящийся в памяти.
2) Поддержка нескольких независимых читателей, каждый со всоим "курсором".
3) Данные, записанные в буффер тут же становятся доступны всем читателям.
4) Возможность на лету переключиться в "разрушающий" режим, описанный выше.
5) Желательно, чтобы довыделение памяти происходило блоками настраиваемого размера, чтобы уменьшить количество выделений памяти.
6) Желательно, чтобы все это реализовывало интерфейс стандартных потоков ввода-вывода.
Понимаю, что требования довольно крутые, но если удастся их выполнить, что будет прямо рай на земле, а не прокси.
Найденные решения
Ничего лучше std::stringstream я так и не нашел, но он удовлетворяет лишь двум требованиям из 6.
Вопрос
Знает ли кто-нибудь готовый класс, реализующий все эти плюшки или компоненты, от которых можно оттолкнуться при написании такого класса самостоятельно? |
)