Как выбрать Feature Selection Algorithm? - совет
Есть ли научно-исследовательская работа / книга, которую я могу прочитать, который может сказать мне для проблемы под рукой, какой алгоритм выбора функции работал бы лучше всего.
Я пытаюсь просто идентифицировать сообщения Твиттера как pos / отрицательный (для начала). Я начал с основанным на частоте выбором функции (запускавшимся с книги NLTK), но скоро понял, что для подобной проблемы различные люди выбрали различные алгоритмы
Хотя я могу попробовать базирующуюся Частоту, взаимная информация, увеличение информации и различные другие алгоритмы, список кажется бесконечным.. и задавался вопросом если там эффективный путь затем метод проб и ошибок.
любой совет
3 ответа
К сожалению, нет серебряной пули для чего-либо при работе с изучением машины. Обычно это называется «без бесплатного обеда» теорема. В основном несколько алгоритмов работают для проблемы, а некоторые лучше по некоторым проблемам и хуже на других. Все, все они выступают одинаково. Тот же набор функций может привести к тому, что один алгоритм выполняется лучше, а другой, чтобы выполнить хуже для данного набора данных. Для другого набора данных ситуация может быть полностью изменена.
Обычно то, что я делаю, выбираете несколько алгоритмов выбора функций, которые работали в других подобных задачах, а затем начнутся с тех. Если производительность, которую я использую свои любимые классификаторы, является приемлемым, взорвании еще в полцентном порядке, вероятно, не стоит моего времени. Но если это не приемлемо, то пришло время переоценить свой подход или искать больше методов выбора функций.
я сделал последний термин хода обработки естественного языка, и он прибыл довольно ясный, что анализ мнений - что-то, что никто действительно не знает, как преуспеть (все же). Выполнение этого с обучением без учителя, конечно, еще более трудно.
существует довольно большое продолжение исследования относительно этого, части его коммерческое и таким образом не открытое для общественности. Я не могу указать на вас ни на какие научно-исследовательские работы, но книгу, которую мы использовали для курса, был это (, Google заказывает предварительный просмотр ). Тем не менее обложки книги много материала и не могли бы быть самым быстрым способом найти решение этой конкретной проблемы.
Единственная другая вещь я могу указать, что к необходимо попытаться гуглить вокруг, возможно, в scholar.google.com для "анализа мнений" или "анализа мнений".
Взглянули на корпус NLTK movie_reviews . Обзоры уже являются pos / отрицательный категоризировал и мог бы помочь вам с обучением ваш классификатор. Хотя язык, который вы находите в Твиттере, вероятно, очень отличается от тех.
Как последнее примечание, отправьте любые успехи (или отказы в этом отношении) здесь. Эта проблема подойдет позже наверняка в какой-то момент.
Вы пробовали книгу, которую я рекомендовал на ваш последний вопрос? Он свободно доступен в Интернете и полностью о задаче, с которой вы имеете дело с: Анализ настроений и добычи от мнения Pang и Lee. Глава 4 («Добыча и классификация») - это просто то, что вам нужно!