Функции нейронной активации -Разница между логистикой/тангом/и т. д.

Я пишу некоторые базовые методы нейронной сети -, в частности, функции активации -, и мои познания в математике достигли предела. Я понимаю соответствующие диапазоны (-1/1)(0/1 )и т. д., но меня смущают различные описания и реализации.

В частности, сигмовидная , логистическая , биполярная сигмовидная , танх и т. д.

Описывает ли сигмоид просто форму функции независимо от диапазона? Если да, то является ли tanh «сигмоидной функцией»?

Я видел сравнение двухполярной сигмоиды с tanh в статье, однако я видел, как обе функции реализованы (в различных библиотеках )с одним и тем же кодом :

((. 2/ (1 + Exp (-2 *n)))-1 ). Они точно такие же?

Кроме того, я видел логистическую и сигмовидную активации, реализованные с помощью одного и того же кода :

(. 1/ (1 + Exp (-1 *n ))). Они тоже эквивалентны?

Наконец, имеет ли это значение на практике? Я вижу в вики график очень похожих сигмовидных функций-можно ли использовать что-то из этого? Некоторые выглядят так, как будто они могут быть значительно быстрее для вычислений, чем другие.