Какое умножение и коэффициент добавления к использованию при использовании адаптивной скорости обучения в нейронных сетях?

Я новичок в нейронных сетях, и, чтобы занять по этому вопросу, я реализовал базовый Feed-вперед MLP, который я в настоящее время тренируюсь благодаря размножению. Я осознаю, что есть более сложные и лучшие способы сделать это, но в введение в машинное обучение Предлагают, что с одним или двумя уловками при этом основной градиентный спуск может быть эффективным для обучения на реальных данных. Одним из хищников является адаптивная норма обучения .

Идея состоит в том, чтобы увеличить уровень обучения с помощью постоянного значения A , когда ошибка становится меньше, и уменьшает ее до фракции B скорости обучения, когда ошибка становится больше Отказ Таким образом, в основном изменение скорости обучения определяется:

+(a)

, если мы изучаем правильное направление, и

-(b * )

, если мы разрушаем наше обучение. Однако на приведенной выше книге нет советов о том, как установить эти параметры. Я бы не ожидал точного предложения, поскольку настройка параметров является целой темой самостоятельно, но просто намек, по крайней мере, по порядку величины. Любые идеи?

Спасибо,
Туннуз