Нейронная сеть всегда производит то же самое / Подобные выходы для любого входа

Это происходящий точно как в Вашем случае, выводе нейронной сети всегда было то же, неважно, обучение & количество слоев и т.д.

Оказывается, что мой алгоритм обратного распространения имел проблему. В одном месте я умножался на-1, где это не требовалось.

могла быть другая проблема как это. Вопрос состоит в том, как отладить его?

Шаги к отладке:

Step1 : Write the algorithm such that it can take variable number of input layers and variable number of input & output nodes.
Step2 : Reduce the hidden layers to 0. Reduce input to 2 nodes, output to 1 node.
Step3 : Now train for binary-OR-Operation.
Step4 : If it converges correctly, go to Step 8.
Step5 : If it doesn't converge, train it only for 1 training sample
Step6 : Print all the forward and prognostication variables (weights, node-outputs, deltas etc)
Step7 : Take pen&paper and calculate all the variables manually.
Step8 : Cross verify the values with algorithm.
Step9 : If you don't find any problem with 0 hidden layers. Increase hidden layer size to 1. Repeat step 5,6,7,8

Это походит на большую работу, но это работает очень хорошо, по моему скромному мнению.