Роль предвзятости в нейронных сетях

Во время обучения ИНС можно настроить два различных типа параметров: веса и значения в функциях активации . Это непрактично, и было бы проще, если только один из параметров должен быть скорректирован. Чтобы справиться с этой проблемой, изобретен нейрон смещения . Нейрон смещения находится в одном слое, подключен ко всем нейронам в следующем слое, но ни одного в предыдущем слое, и он всегда излучает 1 . Поскольку нейрон смещения излучает 1, веса, связанные с нейроном смещения , добавляются непосредственно к объединенной сумме других весов (уравнение 2.1 ), как и значение t в функциях активации. 1

Причина, по которой это непрактично, заключается в том, что вы одновременно регулируете вес и значение, поэтому любое изменение веса может нейтрализовать изменение значения, которое было полезно для предыдущего экземпляра данных ... добавление смещение нейрона без изменения значения позволяет управлять поведением слоя.

Кроме того, смещение позволяет использовать одну нейронную сеть для представления похожих случаев. Рассмотрим логическую функцию И, представленную следующей нейронной сетью:

_{(источник: aihorizon.com )}

• w0 соответствует b .
• w1 соответствует x1 .
• w2 соответствует x2 .

Один персептрон может использоваться для представления множества логических функций.

Например, если мы предполагаем логические значения из 1 (истина) и -1 (ложь), тогда один способ использовать перцептрон с двумя входами для реализации функция AND устанавливает веса w0 = -3 и w1 = w2 = 0,5. Этот перцептрон можно заставить представлять функцию ИЛИ вместо изменения порога на w0 = -.3. Фактически И и ИЛИ можно рассматривать как частные случаи m-of-n функций: то есть функций, в которых не менее m из n входов в перцептрон должны быть истинными. Функция ИЛИ соответствует m = 1, а функция И - m = n. Любую функцию m-of-n легко представить с помощью перцептрона как {{1} } установка для всех входных весов одинакового значения (например, 0,5), а затем установка порогового значения w0 соответственно.

Персептроны могут представлять все примитивные логические функции И, ИЛИ, ИЛИ (1 И) и ИЛИ (1 ИЛИ). Машинное обучение - Том Митчелл)

Порог - это смещение, а w0 - вес, связанный с нейроном смещения / порога.

Слой в нейронной сети без смещения - это не что иное, как умножение входного вектора на матрицу. (Выходной вектор может быть передан через сигмовидную функцию для нормализации и для последующего использования в многослойной ИНС, но это не важно.)

Это означает, что вы используете линейную функцию и, таким образом, ввод всех нулей всегда будет быть сопоставлено выходу всех нулей. Это может быть разумным решением для некоторых систем, но в целом оно слишком ограничительно.

Используя смещение, вы эффективно добавляете еще одно измерение к своему входному пространству, которое всегда принимает значение, равное единице, поэтому вы избегаете входного вектора, состоящего из всех нулей. Это не теряет общности, потому что натренированная матрица весов не обязательно должна быть сюръективной, поэтому ее можно сопоставить со всеми ранее возможными значениями.

2d ИНС:

Для ИНС, отображающей два измерения в одно измерение, как при воспроизведении функций И ​​или ИЛИ (или XOR), вы можете представить себе нейронную сеть как выполняющую следующее:

На 2d плоскости отмечены все положения входных векторов. Итак, для логических значений вы хотите отметить (-1, -1), (1,1), (-1,1), (1, -1). Теперь ваша ИНС рисует прямую линию на 2-й плоскости, отделяя положительные выходные значения от отрицательных выходных значений.

Без предвзятости эта прямая линия должна проходить через ноль, тогда как при предвзятости вы можете поместить ее куда угодно. Итак, вы увидите, что без предвзятости вы столкнетесь с проблемой Функция И, поскольку вы не можете поместить оба (1, -1) и (-1,1) в отрицательную сторону. (Им не разрешено быть на линии.) Проблема такая же для функции ИЛИ. Однако с предвзятостью провести черту легко.

Обратите внимание, что функция XOR в этой ситуации не может быть решена даже с предвзятостью.

Когда вы используете ИНС, вы редко знаете о внутреннем устройстве систем, которые хотите изучить. Некоторым вещам нельзя научиться без предвзятости. Например, взгляните на следующие данные: (0, 1), (1, 1), (2, 1), в основном функция, которая отображает любой x в 1.

Если у вас есть одноуровневая сеть (или линейное отображение), вы не можете найти решение. Однако если у вас есть предвзятость, это тривиально!

В идеальном случае смещение может также сопоставить все точки со средним значением целевых точек и позволить скрытым нейронам моделировать различия с этой точки.