допустим mysql_query() - его разбить нельзя. И пока обрабатывается этот запрос, остальные клиенты в этом потоке будут ждать. не так ли?

менеджер БД должен работать в отдельном потоке
все обращения к нему асинхронные, запросы кладутся в очередь
менеджер проверяет очередь и выполняет их (в целях ускорения юзает multiple statements)

MAKCim, Спасибо, хорошая идея.

А ведь и вправду, долгие операции будут тормозить поток, и все клиенты в этом же потоке, будут ждать завершения.
К примеру, загрузка карты. Пока один клиент загружает, все остальные ждут, и так с каждым  Об этом я не подумал.
В таких случаях, наверное нужно чтоб продолжительные операции выполнялись в отдельном потоке. При том, кол-во этих "отдельных" потоков, нужно определять исходя из конкретной задачи.

У кого-то есть какие-то соображения по этому поводу?
Может кто-то знает подобный opensource проект, чтоб посмотреть как это реализовано?

Я когда писал свой сервак, делал специальный watchdog, который в случае, если все рабочие потоки долго заняты, добавлял в пул еще потоки. У меня правда потоки обрабатывали эвенты, тоесть клиент жеско к потоку не привязывался.

niXman, 
надо разделять ввод-вывод и логику
использование неблокируемого ввода-вывода увеличит скорость реакции при большой нагрузке (большом количестве клиентов)
однако от тормозов на логике это не избавит
пока внешние менеджеры обрабатывают большие по времени выполнения запросы, клиенту можно выдать сообщение типа идет работа и т. д
в противном случае (без неблокируемого ввода-вывода) клиент тупо будет ждать, "не понимая" что происходит
иными словами, интерактивность хреновая ;)

хм, а если у меня как-бы потоки создаются в потоке? например есть куча серверных сокетов, на каждый сокет, свой поток и в них в асинхроне я создаю потоки по мере необходимости(для получения данных), потом они терминируются и отдают данные в главный поток(т.е. я использую aio) и в нем же происходит mysql_query(), только вот я не проверяю стейты предидущих данных, т.е. очередей как-бы нет и проблем пока не возникло, хотя вот если добавить фильтрацию, тогда некоторые данные будут тормозиться и тогда наверно придется сооружать очередь, только пока хз как но mutex не прокатит. поток то один.

это у вас наверно epoll был? а если просто потоки приотерезировать то наверно mutex'ами