допустим я обучаю 2 нейросети на разных компьютерах на разных данных, но архитектура у них одна и задача у них тоже естественно одна.
так вот потом я как то хочу использовать сразу 2 нейросети, т.е. либо как то объединить данные в одну нейросеть, либо, что видимо более очевидно, принимать решение голосованием по 2-м нейросетям.

возможно есть какие то другие классификаторы которые позволяют дообучаться? т.е. я учу классификатор до тех пор пока меня не устроит результат скажем, добавляя на каждом шаге по 1 примеру.
типа Online SVM и т.д.


п.с. возможно где то в другом месте лучше спросить по нейросетям?

Вообще говоря рядом есть раздел про искусственный интеллект.
По вашему вопросу. А чего вы собственно хотите?
Если голосовать, то лучше использоваь три нейросети, потому что голосование двух сетей организовать достаточно сложно - нужно вычислять уверенность сети в ответе. А это в свою очередь требует специальных алгоритмов обучения, точнее оценки.

Если хотите содержательного ответа - поставьте задачу. То что вы написали похоже на "хочу чего-то сделать с нейросетями, или не с нейросетями..."

хочу использовать классификатор в виде когда например 1 пользователь может обучить классификатор и второй, но уже на других данных.
и чтобы потом можно было построить общий классификатор из этих данных.
самый простой способ как видится это голосование классификаторов.(но я не уверен будет ли это одно и то же если обучить 1 классификатор на 2к сэмплов или обучить 2 классификатора по 1к сэмплов и потом использовать голование, скорее всего при разделении будет хуже)

это так же можно использовать для параллельного обучения на разных компьютерах, или делить на задания т.е. как бы масштабировать, например обучать каждый классификатор по 1к сэмплов.

Вообще говоря идея коммитетов (голосования) НЕЙРОННЫХ СЕТЕЙ БЫЛА ОПИСАНА ГДЕ-ТО В НАЧАЛЕ 90Х.
Довольно регулярно используется. 
Сказать заранее будет ли комитет работать хуже или лучше одной сети невозможно, поскольку это сильно зависит от задачи, наборов примеров и т.д.
Но такойй подход существует и довольно регулярно используется.

Поскольку далее вопросов пока сформулировано не было, отвечать не на что. Успехов  

ну для нейросетей то это более менее понятно, т.к. это получается мы добавили еще 1 слой всего лишь.

кстати еще вопрос, если мы имеем большую внутриклассовую различность в обучающей выборке, то общий классификатор построенный таким образом будет плохо работать?  возможно стоит кластеризовать обучающую выборку и построить N классификаторов, которые будут работать независимо\последовательно?