Как определить, пересматривает ли нейронная сеть в Scikit Learn [duplicate]
Кажется, что все работает отлично:
import sys print sys._getframe (). f_back.f_code.co_name 1 ответ
, как вы обычно скажете, что модель перенастраивается?
Одно полезное эмпирическое правило состоит в том, что вы можете перерабатывать, когда ваш производительность модели на собственном учебном наборе намного лучше, чем на ее установленном наборе валидации или в настройке перекрестной проверки. Однако это еще не все.
В записи блога, с которой я связан, описывается процедура тестирования для наложения: настройка набора сюжета и проверка ошибки проверки в зависимости от размера установленного набора. Если они показывают стабильный промежуток в правом конце графика, вы, вероятно, переработали.
. Каков наилучший способ предотвращения переустановки (в этой ситуации), чтобы убедиться, что Результаты предсказания хороши или нет?
Использовать тестовый набор. Выполняйте оценку только в этом случае, когда вы полностью выполнили выбор модели (настройка гиперпараметра); не тренируйтесь на нем, не используйте его в (поперечной) проверке. Оценка, которую вы получаете на тестовом наборе, является окончательной оценкой модели. Это должно показать, случайно ли вы набрали набор (ы) проверки.
[Конференции по компьютерному обучению иногда настраиваются как соревнование, где набор тестов не предоставляется исследователям до после они отправили свою окончательную модель организаторам. Между тем, они могут использовать набор для обучения, как им заблагорассудится. путем тестирования моделей с использованием перекрестной проверки. Kaggle делает что-то подобное.]
Если используется перекрестная проверка
LeaveOneOut, как модель может быть переполнена с хорошими результатами?Поскольку вы можете настроить модель столько, сколько хотите, в этой настройке перекрестной проверки, пока она не будет почти идеально соответствовать CV.
В качестве крайнего примера предположим, что вы внедрили оценщик, который по существу является генератором случайных чисел. Вы можете продолжать пробуждать случайные семена, пока не нажмете «модель», которая производит очень низкую ошибку при перекрестной проверке, но это не значит, что вы попали в правильную модель. Это означает, что вы перешли на перекрестную проверку.
См. Также эту интересную warstory .