Производная сигмоиды

Я создаю нейронную сеть, используя технику обратного распространения для обучения.

Насколько я понимаю, нам нужно найти производную используемой функции активации. Я использую стандартную сигмовидную функцию

f(x) = 1 / (1 + e^(-x))

и вижу, что ее производная равна

dy/dx = f(x)' = f(x) * (1 - f(x))

. Это может быть глупый вопрос, но означает ли это, что мы должны дважды передавать x через сигмовидную функцию во время уравнения, поэтому это расширится до

dy/dx = f(x)' = 1 / (1 + e^(-x)) * (1 - (1 / (1 + e^(-x))))

или просто нужно взять уже рассчитанный результат f(x), который является выходом нейрона, и заменить это значение на f(x )?

19
задан nbro 15 October 2017 в 22:00
поделиться