Непрерывный вывод в Нейронных сетях
Используйте подобную Emacs привязку клавиш, это - ВКЛАДКА : P
3 ответа
Большая часть работы в области нейроэволюции связана с использованием нейронных сетей с непрерывными входами и выходами.
Существует несколько общих подходов:
- Один узел на значение
- Линейные функции активации - как отмечали другие, вы можете использовать несигмоидные функции активации на выходных узлах, если вас беспокоит ограниченный диапазон сигмовидной функции. Однако это может привести к тому, что ваш выходной сигнал станет произвольно большим, что может вызвать проблемы во время обучения.
- Функции активации сигмоида - простое масштабирование сигмовидного сигнала (или смещение и масштабирование, если вы хотите отрицательные значения) является обычным подходом в нейроэволюция. Однако стоит убедиться, что ваша сигмовидная функция не слишком крутая: крутая функция активации означает, что «полезная» диапазон значений невелик, что приводит к малым весам сети. (Это в основном проблема генетических алгоритмов, которые используют стратегию модификации фиксированного веса, которая не работает, когда требуются небольшие веса.)
(источник: natekohl.net )
(источник: natekohl.net )
- Несколько узлов на одно значение - распространение одного непрерывного значения по нескольким узлам является распространенной стратегией для представления непрерывных входных данных. Его преимущество заключается в предоставлении сети большего количества «функций» за счет увеличения размера сети. net )
(источник: natekohl.net )- Несколько узлов на одно значение - распространение одного непрерывного значения на несколько узлов является распространенной стратегией для представления непрерывных входных данных. Его преимущество заключается в предоставлении сети большего количества «функций» за счет увеличения размера сети. net )
(источник: natekohl.net )- Несколько узлов на одно значение - распространение одного непрерывного значения на несколько узлов является распространенной стратегией для представления непрерывных входных данных. Его преимущество заключается в предоставлении сети большего количества «функций» за счет увеличения размера сети.
- Группирование - распространение одного входа по множеству узлов (например, RBF-сети , где каждый узел является базовой функцией с другим центром, который будет частично активирован входом). Вы получаете некоторые преимущества дискретных входов без потери плавного представления.
- Двоичное представление - разделите одно непрерывное значение на 2 N фрагментов, затем передайте это значение в сеть в качестве двоичного шаблона N узлов. Этот подход является компактным, но отчасти хрупким и приводит к тому, что вводимые данные изменяются непостоянно.
- Несколько узлов на одно значение - распространение одного непрерывного значения на несколько узлов является распространенной стратегией для представления непрерывных входных данных. Его преимущество заключается в предоставлении сети большего количества «функций» за счет увеличения размера сети.
- Несколько узлов на одно значение - распространение одного непрерывного значения на несколько узлов является распространенной стратегией для представления непрерывных входных данных. Его преимущество заключается в предоставлении сети большего количества «функций» за счет увеличения размера сети. net )
Обычно вам потребуется выполнить некоторую фильтрацию (преобразование уровня и т. Д.) Как на входе, так и на выходе. Очевидно, что фильтрация входа изменит внутреннее состояние, поэтому необходимо уделить внимание тому, чтобы не потерять сигнал, на котором вы пытаетесь тренироваться.
Нет правил, требующих, чтобы вывод (*) был какой-либо конкретной функцией . На самом деле нам обычно требуется добавить некоторые арифметические операции в конце функции, как таковой, реализованной в данном узле, чтобы масштабировать или иначе привести вывод к определенной форме.
Преимущество Работа с выводами типа «все или ничего» и / или нормализованным выводом от 0,0 до 1,0 заключается в том, что это упрощает выполнение задач, а также позволяет избежать проблем с переполнением и тому подобного. Как указал Марк Бесси, вход [в сеть в целом] и выход [сети] обычно подвергаются некоторой фильтрации / преобразованию. Как указано в этом ответе и в комментарии Марка, может быть предпочтительнее иметь нормализованные / стандартные узлы в «скрытых» слоях сети и применять некоторую нормализацию / преобразование / дискретизацию по мере необходимости для ввода и / или вывода сеть; Однако такая практика является лишь вопросом практичности, а не императивным требованием нейронных сетей в целом.