семантическая близость между предложениями

Salma, я боюсь, что это Не правильный форум для вашего вопроса, так как он не связан напрямую для программирования. Я рекомендую вам снова задать ваш вопрос на списке CARTA . Вы также можете сначала искать свои архивы.

Кроме того, ваш вопрос не достаточно точен, и я объясню, что я имею в виду под этим. Я предполагаю, что ваш проект о вычислении семантического сходства между предложениями, а не о чем-то другом, к которому семантическое сходство - это только одно среди многих. Если это так, то есть несколько вещей, которые следует учитывать: прежде всего, ни с точки зрения вычислительной лингвистики, ни теоретической лингвистики не понятно, что именно означает термин «семантическое сходство». Существует множество различных взглядов и определений, все в зависимости от типа проблемы, которая будет решена, инструменты и методики, которые под рукой, и фон, приближаясь к этой задаче и т. Д. Рассмотрим эти примеры:

1. Pete И Роб нашла собаку возле станции.
2. Пит и Роб никогда не нашли собаку возле станции.
3. Пит и ограбил как много как программирование.
4. Патриция нашел собаку возле станции.
5. Это была собака, которая нашла Пит и Роб под снежок.

Какие из предложений 2-4 похожи на 1? 2 - это точная противоположность 1, все же оно о Пит и Роб (не) найти собаку. 3 о том, что Пит и Роб, но в совершенно другом контексте. 4 О том, что найти собаку возле станции, хотя искатель, являющийся кем-то другим. 5 - это о Пит, Роб, собаке и событии «поиска», но по-другому, чем в 1. Что касается меня, я бы не смог решить эти примеры в соответствии с их сходством даже без необходимости написать компьютерную программу Отказ

Для того, чтобы вычислить семантическое сходство, вы должны сначала решить, что вы хотите относиться к «семантически похожему» и что нет. Для того, чтобы вычислить семантическое сходство на уровне предложения, вы в идеале сравнивались каким-то смысловым представлением предложений. Значение представления обычно происходит в качестве логической формулы и чрезвычайно сложны для генерации. Однако есть инструменты, которые пытаются сделать это, например, Боксер

как упрощенный, но часто практичный подход, вы бы определили семантическое сходство как сумму сходства между словами в одном предложении, а другой. Это делает проблему намного проще, хотя есть еще несколько сложных проблем, которые необходимо устранить, поскольку семантическое сходство слов так же плохо определяется как у приговоров. Если вы хотите создать впечатление от этого, посмотрите в книгу «Лексическая семантика» D.A. Crose (1986). Тем не менее, существует довольно ряд инструментов и техник для вычисления семантического сходства между словом. Некоторые из них определяют его в основном, как отрицательное расстояние двух слов в таксономии, подобных Word Net или таксономию Википедии (см. в этой статье , которая описывает API для этого). Другие вычислим семантическое сходство с использованием некоторых статистических мер, рассчитанных на крупных текстовых корпусах. Они основаны на понимании, что подобные слова встречаются в аналогичном контексте. Третий подход к расчетам семантического сходства между предложениями или словами, связаны с моделями векторных космических пространств, которые вы можете знать из поиска информации. Чтобы получить обзор этих последних методов, посмотрите на главу 8.5 в книге Фонды статистической обработки естественных языков , Мэннинг и Шютце.

Надеюсь, это уводит вас на ноги сейчас.