Метод опорных векторов или Искусственная Нейронная сеть для обработки текста?
Мы должны решить между Методами опорных векторов и Быстро Искусственной Нейронной сетью для некоторого проекта обработки текста.
Это включает Контекстное Исправление орфографических ошибок и затем метки текста к определенным фразам и их синонимам.
Который будет правильным подходом? Или есть ли альтернатива к обоим из них... Что-то более соответствующее, чем FANN, а также SVM?
2 ответа
Я думаю, вы получите конкурентные результаты от обоих алгоритмов, поэтому вам следует агрегировать результаты ... подумайте об ансамблевом обучении.
Обновление:
Я не знаю, достаточно ли это конкретно: используйте байесовский оптимальный классификатор, чтобы объединить прогнозы из каждого алгоритма. Вы должны обучить оба ваших алгоритма, затем вы должны обучить байесовский оптимальный классификатор, чтобы использовать ваши алгоритмы и делать оптимальные прогнозы на основе входных данных алгоритмов.
Разделите ваши обучающие данные на 3:
- 1-й набор данных будет использоваться для обучения (искусственной) нейронной сети и машин опорных векторов.
- Второй набор данных будет использоваться для обучения байесовского оптимального классификатора путем получения необработанных прогнозов от ИНС и SVM.
- Третий набор данных будет вашим квалификационным набором данных, в котором вы протестируете свой обученный байесовский оптимальный классификатор.
Обновление 2.0:
Другой способ создать ансамбль алгоритмов - использовать 10-кратную (или, в более общем смысле, k-кратную) перекрестную проверку :
- Разбить данные на 10 наборы размера n / 10.
- Обучите 9 наборов данных и проверьте 1.
- Повторите 10 раз и выберите среднюю точность.
Помните, что обычно вы можете комбинировать множество классификаторов и методов проверки для получения лучших результатов. Просто нужно найти то, что лучше всего подходит для вашего домена.
Возможно, вы захотите также взглянуть на классификаторы maxent (/ log linear models) .
Они очень популярны при решении задач НЛП. Современные реализации, в которых для оптимизации используются квазиньютоновские методы, а не более медленные алгоритмы итеративного масштабирования, обучаются быстрее, чем SVM. Они также кажутся менее чувствительными к точному значению гиперпараметра регуляризации. Вам, вероятно, следует предпочесть SVM только maxent, если вы хотите использовать ядро для бесплатного получения сочетаний функций.
Что касается SVM и нейронных сетей, использование SVM, вероятно, будет лучше, чем использование ANN. Как и модели maxent, обучение SVM представляет собой задачу выпуклой оптимизации. Это означает, что при наличии набора данных и конкретной конфигурации классификатора виртуальные машины защиты всегда найдут одно и то же решение. При обучении многослойных нейронных сетей система может сходиться к различным локальным минимумам. Таким образом, вы получите лучшие или худшие решения в зависимости от того, какие веса вы используете для инициализации модели. С ИНС вам необходимо выполнить несколько обучающих прогонов, чтобы оценить, насколько хороша или плоха данная конфигурация модели.