Обнаружение редкого случая
Там хорошо работает ссылка на Алгоритмы, которые люди используют для обнаружения редкого случая? Кроме того, Как фактор времени принят во внимание? Если у меня есть случай, где последовательные точки данных говорят что-то (t_1 к t_n), Как может один фактор это в нормальный сценарий Машинного обучения?
Любой указатель будет цениться.
1 ответ
Это может помочь подробнее описать ваш сценарий. Поскольку вы пытаетесь найти редкие события, я предполагаю, что у вас есть рабочее определение нередкого (для некоторых проблемных областей это действительно сложно).
Например, допустим, что у нас есть некоторый процесс, который не является процессом случайного блуждания, такой как загрузка ЦП для некоторой службы. Если вы хотите обнаружить редкие события, вы можете взять среднее использование, а затем посмотреть несколько стандартных отклонений. Здесь могут быть полезны методы из Статистического управления процессами .
Если у нас есть случайный процесс блуждания, такой как курсы акций (банка с червями открыта ... просто предположите это для простоты). Направленное движение от t к t + 1 является случайным. Случайным событием может быть определенное количество последовательных движений в одном направлении или большое движение в одном направлении за один временной шаг. См. Основные концепции в Стохастическое исчисление .
Если процесс на шаге t зависит только от шага t-1, мы можем использовать цепи Маркова для моделирования процесса.
Это краткий список доступных вам математических методов. Теперь о машинном обучении.Почему вы хотите использовать машинное обучение? (Всегда хорошо подумать, чтобы убедиться, что вы не слишком усложняете проблему) Предположим, что вы это делаете, и это правильное решение. Фактический алгоритм, который вы используете, на этом этапе не очень важен. Что вам нужно сделать, так это определить, что такое редкое событие. И наоборот, вы можете определить, что такое нормальное событие, и искать вещи, которые не являются нормальными. Обратите внимание, что это не одно и то же. Допустим, мы производим набор редких событий r1 ... rn. С каждым из этих редких событий будут связаны некоторые особенности. Например, если компьютер вышел из строя, могут быть такие функции, как последний раз, когда он был замечен в сети, состояние его порта коммутатора и т. Д. На самом деле это самая важная часть машинного обучения, построение обучающего набора. Обычно он состоит из ручной маркировки набора примеров для обучения модели. Как только вы лучше поймете пространство функций, вы сможете обучить другую модель метить за вас. Повторяйте этот процесс, пока не будете удовлетворены.
Теперь, если вы можете определить свой набор редких событий, может быть дешевле просто сгенерировать эвристику. Я всегда считал, что для обнаружения редких событий это работает лучше.