Как автоматически пометить контент, необходимые алгоритмы и предложения

Я работаю с некоторыми действительно большими базами данных газетных статей, у меня они есть в базе данных MySQL, и я могу запрашивать их все.

Сейчас я ищу способы помочь мне пометить эти статьи описательными тегами.

Все эти статьи доступны по URL-адресу, который выглядит следующим образом:

http://web.site/CATEGORY/this-is-the-title-slug

Так что, по крайней мере, я могу использовать категорию, чтобы понять, с каким типом контента мы работаем. Однако я также хочу пометить тегами на основе текста статьи.

Мой первоначальный подход заключался в следующем:

1. Получить все статьи
2. Получить все слова, удалить все знаки препинания, разделить пробелами и подсчитать их по вхождению
3. Проанализируйте их и отфильтруйте общие не описательные слова, такие как «они», «я», «это», «эти», «их» и т. Д.
4. Когда все общие слова были отфильтрованы, единственное, что осталось - это слова, достойные тегов.

Но это оказалось довольно ручной задачей, а не очень красивым или полезным подходом.

Здесь также возникла проблема со словами или именами, разделенными пробелами, например, если 1.000 статей содержат имя «Джон Доу», а 1.000 статей содержат имя «Джон Хэнсон», я бы получил только слово «Джон» вне его, а не его имени и фамилии.