Как я могу разделить несколько слов, к которым присоединяются?

алгоритм Витерби намного быстрее. Это вычисляет те же очки как рекурсивный поиск в ответе Dmitry выше, но в O (n) время. (Поиск Dmitry занимает время; Viterbi делает это динамическим программированием.)

import re
from collections import Counter

def viterbi_segment(text):
    probs, lasts = [1.0], [0]
    for i in range(1, len(text) + 1):
        prob_k, k = max((probs[j] * word_prob(text[j:i]), j)
                        for j in range(max(0, i - max_word_length), i))
        probs.append(prob_k)
        lasts.append(k)
    words = []
    i = len(text)
    while 0 < i:
        words.append(text[lasts[i]:i])
        i = lasts[i]
    words.reverse()
    return words, probs[-1]

def word_prob(word): return dictionary[word] / total
def words(text): return re.findall('[a-z]+', text.lower()) 
dictionary = Counter(words(open('big.txt').read()))
max_word_length = max(map(len, dictionary))
total = float(sum(dictionary.values()))

Тестирование его:

>>> viterbi_segment('wickedweather')
(['wicked', 'weather'], 5.1518198982768158e-10)
>>> ' '.join(viterbi_segment('itseasyformetosplitlongruntogetherblocks')[0])
'its easy for me to split long run together blocks'

, Чтобы быть практичными Вы, вероятно, захотите пару улучшений:

• Добавляют журналы вероятностей, не умножайте вероятности. Это избегает потери значимости с плавающей точкой.
• Ваши исходные данные будут в словах общего использования не в Вашем корпусе. Этим подстрокам нужно назначить ненулевая вероятность словами, или Вы заканчиваете без решения или плохого решения. (Это так же верно для вышеупомянутого экспоненциального алгоритма поиска.) Эта вероятность должна быть выкачана от корпусных вероятностей слов и распределена правдоподобно среди всех других кандидатов слова: общая тема известна как сглаживающий в статистических языковых моделях. (Можно сойти с рук некоторые довольно грубые взломы, все же.) Это - то, где O (n) алгоритм Витерби сдувает алгоритм поиска, потому что рассмотрение некорпусных слов аварийно завершает коэффициент ветвления.

Я думаю, что Вы правы в размышлении, что это не действительно задание для регулярного выражения. Я приблизился бы, это использование идеи словаря - ищут самый длинный префикс, который является словом в словаре. Когда Вы найдете, что, обрубите его и сделайте то же с остатком от строки.

вышеупомянутый метод подвергается неоднозначности, например, "drivereallyfast" сначала нашел бы "драйвер" и затем испытал бы затруднения из-за "eallyfast". Таким образом, необходимо было бы также сделать некоторое отслеживание в обратном порядке при столкновении с этой ситуацией. Или, так как у Вас нет этого многими строками для разделения, просто сделайте вручную тех, которые приводят автоматизированное разделение к сбою.

Ну, сама проблема не разрешима только с регулярным выражением. Решение (вероятно, не лучшее) состояло бы в том, чтобы получить словарь и сделать соответствие регулярного выражения для каждой работы в словаре к каждому слову в списке, добавив пространство каждый раз, когда успешный. Конечно, это не было бы ужасно быстро, но это будет легко к программе и быстрее, чем рука, делающая его.

Основанное на словаре решение требовалось бы. Это могло бы быть упрощено несколько, если у Вас есть ограниченный словарь слов, которые могут произойти, иначе слова, которые формируют префикс других слов, будут проблемой.

Я могу получить downmodded для этого, но сделали, чтобы секретарь сделал это .

Вы проведете больше времени на решении для словаря, чем оно взяло бы для ручной обработки. Далее, у Вас возможно не будет 100%-й уверенности в решении, таким образом, необходимо будет все еще уделить ему ручное внимание так или иначе.

Лучший инструмент для задания здесь является рекурсией, не регулярными выражениями. Основная идея состоит в том, чтобы запуститься с начала строки, ища слово, затем взять остаток от строки и искать другое слово, и так далее пока конец строки не достигнут. Рекурсивное решение является естественным начиная с отслеживания в обратном порядке потребностей произойти, когда данный остаток от строки не может быть поврежден в ряд слов. Решение ниже использует словарь для определения то, что является словом и распечатывает решения, поскольку оно находит их (некоторые строки могут вспыхнуться в несколько возможных наборов слов, например, wickedweather мог быть проанализирован как "злой мы в ней"). Если Вы просто захотите один набор слов, то необходимо будет определить правила для выбора лучшего набора, возможно, путем выбора решения с наименьшим количеством количества слов или путем установки минимальной длины слова.

#!/usr/bin/perl

use strict;

my $WORD_FILE = '/usr/share/dict/words'; #Change as needed
my %words; # Hash of words in dictionary

# Open dictionary, load words into hash
open(WORDS, $WORD_FILE) or die "Failed to open dictionary: $!\n";
while (<WORDS>) {
  chomp;
  $words{lc($_)} = 1;
}
close(WORDS);

# Read one line at a time from stdin, break into words
while (<>) {
  chomp;
  my @words;
  find_words(lc($_));
}

sub find_words {
  # Print every way $string can be parsed into whole words
  my $string = shift;
  my @words = @_;
  my $length = length $string;

  foreach my $i ( 1 .. $length ) {
    my $word = substr $string, 0, $i;
    my $remainder = substr $string, $i, $length - $i;
    # Some dictionaries contain each letter as a word
    next if ($i == 1 && ($word ne "a" && $word ne "i"));

    if (defined($words{$word})) {
      push @words, $word;
      if ($remainder eq "") {
        print join(' ', @words), "\n";
        return;
      } else {
        find_words($remainder, @words);
      }
      pop @words;
    }
  }

  return;
}