Алгоритм поиска веб-сайта

Не очень хорошо. Если вам нужно, чтобы ваш сайт был доступен для поиска, попробуйте добавить окно поиска Google через AdSense (и настроить карту сайта).

Полнотекстовый поиск SQL Server

и как запрос stackoverflow:

• Вы просматриваете вопросы, соответствующие условиям поиска search stackoverflow
• Выполняйте поиск по определенным тегам, добавляя их в квадратные скобки, например [tag] или [tag-2].
• Заключите поиск в "кавычки", чтобы найти фразу.
• Вы можете сузить поиск, используя операторы ~ (рядом) и - (не) перед словами. *

Я считаю, что они используют возможности полнотекстового поиска SQL Server.

Предложение SQL Server предполагает, что это серверная часть базы данных, лучше использовать Lucene или, если вы не хотите использовать java, есть .Net , C и Ruby порты lucene.

На самом деле я не удивлюсь, если SO основан на Lucene.Net .