Как оптимизировать Базовый Запрос данных для полнотекстового поиска

Погрузитесь в дело.

Вот один способ решить эту проблему:

1. Поместите свои записи в постоянное хранилище Core Data
2. Используйте NSFetchedResultsController для управления набор результатов для объектов Word (эквивалент Core Data с таблицей «слов» SQL)
3. Используйте UISearchDisplayController , чтобы применить NSPredicate к набору результатов в реальном time

Если у вас есть набор результатов через NSFetchedResultsController , довольно легко применить предикат. По моему опыту, он тоже будет отзывчивым. Например:

if ([self.searchBar.text length]) {
    _predicate = [NSPredicate predicateWithFormat:[NSString stringWithFormat:@"(word contains[cd] '%@')", self.searchBar.text]];
    [self.fetchedResultsController.fetchRequest setPredicate:_predicate];
}

NSError *error;
if (![self.fetchedResultsController performFetch:&error]) {
    // handle error...
}
NSLog(@"filtered results: %@", [self.fetchedResultsController fetchedObjects]);

отфильтрует набор результатов [self.fetchedResultsController fetchedObjects] на лету, выполняя поиск без учета регистра по слову .

Чтобы ответить на этот вопрос, я обнаружил, что при использовании Core Data запросы выполняются очень медленно. Я ломал голову над этим в течение многих часов.

Как и в примере SQL в моем вопросе, есть две сущности: textTable и слова, где слова содержат каждое слово, оно индексируется, и есть много-к -многие отношения между textTable и словами. Я заполнил базу данных всего 4000 слов и 360 объектов textTable. Предположим, что отношение textTable к объекту слов называется searchWords, тогда я могу использовать предикат для объекта textTable, который выглядит как

predicate = [NSPredicate predicateWithFormat:@"ANY searchWords.word BEGINSWITH %@", query];

(я могу добавить соединения этого предиката для нескольких условий запроса).

На iPhone этот запрос занимает несколько секунд. Ответ на мой код SQL, написанный вручную с использованием большего набора тестов, был мгновенным.

Но это еще не конец. У NSPredicate есть ограничения, которые делают довольно простые запросы медленными и сложными. Например, представьте, что в приведенном выше примере вы хотите отфильтровать с помощью кнопки области. Предположим, что объект слов содержит все слова во всех текстовых полях, но область действия ограничивает его словами из определенных полей. Таким образом, слова могут иметь атрибут «источник» (например, заголовок и тело сообщения электронной почты).

Естественно, тогда полный текст будет игнорировать атрибут источника, как в приведенном выше примере, но отфильтрованный запрос ограничит поиск определенным исходным значением. Это, казалось бы, простое изменение требует SUBQUERY. Например, это не работает:

ANY searchWords.word BEGINSWITH "foo" AND ANY searchWords.source = 3

, потому что сущности, которые истинны для двух выражений, могут быть разными. Вместо этого вы должны сделать что-то вроде:

SUBQUERY(searchWords, $x, $x.word BEGINSWITH "foo" AND $x.source = 3).@count > 0

Я обнаружил, что эти подзапросы, что, возможно, неудивительно, медленнее, чем предикаты, использующие «ANY».

На данный момент мне очень любопытно, как программисты Cocoa эффективно используют Core Данные для полнотекстового поиска, потому что меня разочаровывают как скорость вычисления предикатов, так и выразимость NSPredicates. Я наткнулся на стену.

t работа:

ANY searchWords.word BEGINSWITH "foo" AND ANY searchWords.source = 3

потому что сущности, которые истинны для двух выражений, могут быть разными. Вместо этого вы должны сделать что-то вроде:

SUBQUERY(searchWords, $x, $x.word BEGINSWITH "foo" AND $x.source = 3).@count > 0

Я обнаружил, что эти подзапросы, что неудивительно, медленнее, чем предикаты, использующие «ANY».

На данный момент мне очень любопытно, как программисты Cocoa эффективно используют Core Данные для полнотекстового поиска, потому что меня разочаровывают как скорость оценки предикатов, так и выразимость NSPredicates. Я наткнулся на стену.

t работа:

ANY searchWords.word BEGINSWITH "foo" AND ANY searchWords.source = 3

, потому что сущности, которые истинны для двух выражений, могут быть разными. Вместо этого вы должны сделать что-то вроде:

SUBQUERY(searchWords, $x, $x.word BEGINSWITH "foo" AND $x.source = 3).@count > 0

Я обнаружил, что эти подзапросы, что, возможно, неудивительно, медленнее, чем предикаты, использующие «ANY».

На данный момент мне очень любопытно, как программисты Cocoa эффективно используют Core Данные для полнотекстового поиска, потому что меня разочаровывают как скорость вычисления предикатов, так и выразимость NSPredicates. Я наткнулся на стену.

Мне очень любопытно, как программисты на Какао эффективно используют Core Data для полнотекстового поиска, потому что меня обескураживает как скорость вычисления предикатов, так и выразимость NSPredicates. Я наткнулся на стену.

Мне очень любопытно, как программисты на Какао эффективно используют Core Data для полнотекстового поиска, потому что меня обескураживает как скорость вычисления предикатов, так и выразимость NSPredicates. Я наткнулся на стену.

После борьбы с этой же проблемой я наткнулся на серию постов, где автор столкнулся с той же проблемой и предложил это решение. Он сообщает об улучшении времени поиска с 6-7 секунд до 0,13-0,05 секунды.

Его набор данных для FTS состоял из 79 документов (размер файла 175k, 3600 дискретных лексем, 10000 ссылок). Я еще не пробовал его решение, но подумал, что должен опубликовать его как можно скорее. См. также Часть 2 его сообщений для документации проблемы и Часть 1 для документации набора данных.