Суть вопроса:
Есть приложение, которое парсит данные в N-ное количество потоков с сайта. Парсится страничка со списком элементов, задания по разбору элементов ложаться в пул заданий( какое то количество потоков активное ,т.е. скачивается страничка и разбирается), остальные ждут), и парсится следующая страничка со списком элементов определяя количество страниц и текущую.
Сейчас в связи с узостью канала количество активных потоков ограниченно 20-40 и каждый поток создает сам подключение к БД, отправляет распарсенные данные и завершает транзакцию. Через несколько дней планируется переезд приложения на сервер в ДЦ, и соответственно работу с БД необходимо перестраивать. Каким образом будет оптимальнее реализовать работу с БД? Какая реализация будет меньше времени тратить на разрешение блокировок?
З.Ы. Тесты, которые пытался провести не могут показать данные хоть с какой то более менее приемлемой погрешностью в связи с недостатком времени и большим количеством неконтролируемых факторов ( основной из которых - нестабильная скорость канала, или даже вообще его (канала) нестабильность). Поэтому хочу узнать, кто каким образом выкручивался в подобной ситуации (имеется ввиду доступ из многих потоков. а не нестабльность связи
