AI: Как мне обучить нейронную сеть на нескольких машинах ?

Итак, для больших сетей с большими наборами данных им нужно время на обучение. Было бы здорово, если бы был способ разделить вычислительное время между несколькими машинами. Однако проблема заключается в том, что при обучении нейронной сети веса постоянно меняются на каждой итерации, и каждая итерация более или менее зависит от последней, что делает идею распределенных вычислений как минимум сложной задачей. .

Я думал, что для каждой части сети сервер может отправить, может быть, 1000 наборов данных для обучения сети ... но ... у вас будет примерно такое же время вычислений, как у меня. t иметь возможность тренироваться на разных наборах данных одновременно (это то, что я хочу делать).

Но даже если бы я мог разделить обучение сети на блоки разных наборов данных для обучения, как бы я узнал, когда я закончу с этим набором данных? особенно если объем данных, отправленных на клиентский компьютер, недостаточен для достижения желаемой ошибки?

Я приветствую все идеи.