Зачем нужен BIAS в ИНС? Должны ли мы иметь отдельный BIAS для каждого слоя?

Я хочу создать модель, которая предсказывает будущую реакцию входного сигнала, архитектура моей сети [3, 5, 1]:

• 3 входа,
• 5 нейронов в скрытых слой и
• 1 нейрон в выходном слое.

Мои вопросы:

1. Должны ли мы иметь отдельный BIAS для каждого скрытого и выходного уровня?
2. Должны ли мы назначать вес BIAS на каждом уровне (поскольку BIAS становится дополнительной ценностью для нашей сети и вызывает перегрузку сети )?
3. Почему значение BIAS всегда равно единице? Если у eta разные значения, почему мы не устанавливаем BIAS с разными значениями?
4. Почему мы всегда используем логарифмическую сигмоидальную функцию для нелинейных функций, можем ли мы использовать tanh?