алгоритм для вычисления сходства между текстами

Ааа... но "я действительно люблю собак" и "я действительно ненавижу собак" полностью похожи ;), оба обсуждают чувства к собакам. Кажется, вы пропустили один шаг:

1. Запустите свой алгоритм и получите общие тематические группы (например, «чувства по отношению к собакам»).
2. Запустите ваш алгоритм еще раз, но на этот раз для каждой ранее «обнаруженной» группы, и пусть ваш алгоритм далее классифицирует их по подгруппам (например, «я ненавижу собак»/«я люблю собак»).

Если ваш алгоритм настраивается на основе своего опыта (т. е. требуется некоторое обучение)., затем убедитесь, что вы запускаете отдельные экземпляры алгоритма для первой классификации и новый экземпляр алгоритма для каждой подклассификации... если вы этого не сделаете, вы можете получить случай, когда вы найдете несколько групп и каждый раз, когда вы запускаете свой алгоритм на одних и тех же группах, результаты почти идентичны и/или вообще ничего не меняется.

Обновление

Apache Mahout предоставляет множество полезных алгоритмов и примеров кластеризации, классификации, генетического программирования, леса решений, анализа рекомендаций. Вот некоторые примеры классификации текста от mahout:

• Классификация Википедии
• Классификация Twenty Newsgroups
• Создание векторов из текста
• Сходство документов с Mahout
• Рекомендация на основе элементов

Я не уверен, какой из них лучше всего подходит для вашей проблемы, но, возможно, если вы просмотрите их, вы поймете, какой из них наиболее подходит для вашего конкретного приложения.