Я создаю нейронную сеть, используя технику обратного распространения для обучения.
Насколько я понимаю, нам нужно найти производную используемой функции активации. Я использую стандартную сигмовидную функцию
f(x) = 1 / (1 + e^(-x))
и вижу, что ее производная равна
dy/dx = f(x)' = f(x) * (1 - f(x))
. Это может быть глупый вопрос, но означает ли это, что мы должны дважды передавать x через сигмовидную функцию во время уравнения, поэтому это расширится до
dy/dx = f(x)' = 1 / (1 + e^(-x)) * (1 - (1 / (1 + e^(-x))))
или просто нужно взять уже рассчитанный результат f(x)
, который является выходом нейрона, и заменить это значение на f(x )
?