Сравнение строк с допуском
Я ищу способ сравнить строку с массивом строк. Выполнение точного поиска довольно легко, конечно, но я хочу, чтобы моя программа терпела орфографические ошибки, недостающие части строки и так далее.
Есть ли некоторая платформа, которая может выполнить такой поиск? У меня есть что-то в памяти, что алгоритм поиска возвратит несколько порядков результатов процентом соответствия или чего-то вроде этого.
4 ответа
Вы можете использовать алгоритм Levenshtein Distance.
"Расстояние Левенштейна между двумя строками определяется как минимальное количество правок, необходимых для преобразования одной строки в другую, при этом допустимыми операциями редактирования являются вставка, удаление или замена одного символа." - Wikipedia. com
Вот это от dotnetperls.com:
using System;
/// <summary>
/// Contains approximate string matching
/// </summary>
static class LevenshteinDistance
{
/// <summary>
/// Compute the distance between two strings.
/// </summary>
public static int Compute(string s, string t)
{
int n = s.Length;
int m = t.Length;
int[,] d = new int[n + 1, m + 1];
// Step 1
if (n == 0)
{
return m;
}
if (m == 0)
{
return n;
}
// Step 2
for (int i = 0; i <= n; d[i, 0] = i++)
{
}
for (int j = 0; j <= m; d[0, j] = j++)
{
}
// Step 3
for (int i = 1; i <= n; i++)
{
//Step 4
for (int j = 1; j <= m; j++)
{
// Step 5
int cost = (t[j - 1] == s[i - 1]) ? 0 : 1;
// Step 6
d[i, j] = Math.Min(
Math.Min(d[i - 1, j] + 1, d[i, j - 1] + 1),
d[i - 1, j - 1] + cost);
}
}
// Step 7
return d[n, m];
}
}
class Program
{
static void Main()
{
Console.WriteLine(LevenshteinDistance.Compute("aunt", "ant"));
Console.WriteLine(LevenshteinDistance.Compute("Sam", "Samantha"));
Console.WriteLine(LevenshteinDistance.Compute("flomax", "volmax"));
}
}
На самом деле вы можете предпочесть использовать алгоритм расстояния Дамерау-Левенштейна, который также позволяет транспонировать символы, что является распространенной человеческой ошибкой при вводе данных. Его реализацию на языке C# вы найдете здесь.
В платформе .NET нет ничего, что могло бы помочь вам с этим "из коробки".
Наиболее частыми орфографическими ошибками являются те, в которых буквы являются достойным фонетическим представлением слова, но не правильным написанием слова.
Например, можно утверждать, что слова меч и sord (да, это слово) имеют одинаковые фонетические корни (они звучат одинаково, когда вы их произносите) .
При этом существует ряд алгоритмов, которые можно использовать для перевода слов (даже неправильно написанных) в фонетические варианты.
Первый - Soundex . Его довольно просто реализовать, и существует множество .NET-реализаций этого алгоритма . Это довольно просто, но дает вам реальные значения, которые вы можете сравнивать друг с другом.
Другой - Метафон . Хотя я не могу найти родную .NET-реализацию Metaphone, в предоставленной ссылке есть ссылки на ряд других реализаций, которые можно преобразовать. Проще всего преобразовать, вероятно, Java-реализацию алгоритма Metaphone .
Следует отметить, что алгоритм Метафона претерпел изменения. Существует Двойной метафон (который имеет реализацию .NET ) и Метафон 3 . Metaphone 3 - коммерческое приложение, но его точность составляет 98% по сравнению с 89% для алгоритма Double Metaphone при работе с базой данных общеупотребительных английских слов.В зависимости от ваших потребностей вы можете найти (в случае Double Metaphone) или приобрести (в случае Metaphone 3) исходный код алгоритма и преобразовать его или получить к нему доступ через уровень P / Invoke (существуют реализации C ++ изобилуют).
Metaphone и Soundex отличаются в том смысле, что Soundex создает цифровые клавиши фиксированной длины, тогда как Metaphone создает ключи разной длины, поэтому результаты будут разными. В конце концов, оба сделают для вас одно и то же сравнение, вам просто нужно выяснить, что лучше всего соответствует вашим потребностям, с учетом ваших требований и ресурсов (и, конечно, уровней нетерпимости к орфографическим ошибкам).
Вот два метода, которые вычисляют расстояние Левенштейна между строками.
Расстояние Левенштейна между двумя строками определяется как минимальное количество правок, необходимых для преобразования одной строки в другую, причем допустимыми операциями редактирования являются вставка, удаление или замена одного символа.
Получив результат, вам нужно определить, какое значение вы хотите использовать в качестве порога совпадения или нет. Запустите функцию на нескольких примерах данных, чтобы получить представление о том, как она работает, и определиться с пороговым значением.
/// <summary>
/// Calculates the Levenshtein distance between two strings--the number of changes that need to be made for the first string to become the second.
/// </summary>
/// <param name="first">The first string, used as a source.</param>
/// <param name="second">The second string, used as a target.</param>
/// <returns>The number of changes that need to be made to convert the first string to the second.</returns>
/// <remarks>
/// From http://www.merriampark.com/ldcsharp.htm
/// </remarks>
public static int LevenshteinDistance(string first, string second)
{
if (first == null)
{
throw new ArgumentNullException("first");
}
if (second == null)
{
throw new ArgumentNullException("second");
}
int n = first.Length;
int m = second.Length;
var d = new int[n + 1, m + 1]; // matrix
if (n == 0) return m;
if (m == 0) return n;
for (int i = 0; i <= n; d[i, 0] = i++)
{
}
for (int j = 0; j <= m; d[0, j] = j++)
{
}
for (int i = 1; i <= n; i++)
{
for (int j = 1; j <= m; j++)
{
int cost = (second.Substring(j - 1, 1) == first.Substring(i - 1, 1) ? 0 : 1); // cost
d[i, j] = Math.Min(
Math.Min(
d[i - 1, j] + 1,
d[i, j - 1] + 1),
d[i - 1, j - 1] + cost);
}
}
return d[n, m];
}
Вы можете найти реализации soundex и алгоритмов расстояния Левенштейна в проекте CommonLibrary.NET с открытым исходным кодом .