Парсинг журналов фырканья с PyParsing

Ну, я не знаю Snort или pyparsing , так что заранее извиняюсь, если я скажу что-то глупое. Мне неясно, заключается ли проблема в том, что pyparsing не может обрабатывать записи, или вы не можете отправить их на pyparsing в правильном формате. Если последнее, почему бы не сделать что-то подобное?

def logreader( path_to_file ):
    chunk = [ ]
    with open( path_to_file ) as theFile:
        for line in theFile:
            if line:
                chunk.append( line )
                continue
            else:
                yield "".join( *chunk )
                chunk = [ ]

Конечно, если вам нужно изменить каждый фрагмент перед его отправкой на pyparsing , вы можете сделать это до того, как даст его .

Вам нужно отучиться от регулярных выражений, но, надеюсь, это не будет слишком болезненно. Самым большим виновником вашего мышления является использование этой конструкции:

some_stuff + Regex(".*") + 
                 Suppress(string_representing_where_you_want_the_regex_to_stop)

Каждый подпарсер в синтаксическом анализаторе pyparsing в значительной степени автономен и последовательно работает с входящим текстом. Таким образом, термин Regex не имеет возможности заглянуть вперед к следующему выражению, чтобы увидеть, где должно остановиться повторение '*' . Другими словами, выражение Regex (". *") будет просто читать до конца строки, поскольку именно там ". *" останавливается без указания multiline.

В pyparsing эта концепция реализована с помощью SkipTo. Вот как написана ваша строка заголовка:

header = Suppress("[**] [") + Combine(integer + ":" + integer + ":" + integer) + 
             Suppress("]") + Regex(".*") + Suppress("[**]") 

Ваша проблема с ". *" Решается путем изменения ее на:

header = Suppress("[**] [") + Combine(integer + ":" + integer + ":" + integer) + 
             Suppress("]") + SkipTo("[**]") + Suppress("[**]") 

То же самое для cls.

И последняя ошибка, ваше определение даты короче на единицу ':' + целое число:

date = integer + "/" + integer + "-" + integer + ":" + integer + "." + 
          Suppress(integer) 

должно быть:

date = integer + "/" + integer + "-" + integer + ":" + integer + ":" + 
          integer + "." + Suppress(integer) 

Я думаю, этих изменений будет достаточно, чтобы начать анализ данных журнала.

Вот еще несколько предложений по стилю:

У вас много повторяющихся Подавить ("]") выражений. Я начал определять все мои подавляемые знаки препинания в очень компактном и простом в обслуживании операторе вроде этого:

LBRACK,RBRACK,LBRACE,RBRACE = map(Suppress,"[]{}")

(разверните, чтобы добавить любые другие символы пунктуации, которые вам нравятся). Теперь я могу использовать эти символы по их символическим именам, и полученный код мне немного легче читать.

Заголовок начинается с header = Suppress ("[**] [") + ... . Мне никогда не нравилось видеть пробелы, встроенные в литералы таким образом, так как он обходит часть устойчивости синтаксического анализа, которую дает вам pyparsing с его автоматическим пропуском пробелов.Если по какой-то причине пробел между «[**]» и «[» был изменен на использование 2 или 3 пробелов или табуляции, то ваш подавленный литерал не сработает. Объедините это с предыдущим предложением, и заголовок будет начинаться с

header = Suppress("[**]") + LBRACK + ...

Я знаю, что это сгенерированный текст, поэтому изменение этого формата маловероятно, но он лучше подходит для сильных сторон pyparsing.

После того, как вы проанализируете свои поля, начните присваивать имена результатов различным элементам в вашем анализаторе. Это упростит лот , чтобы получить данные позже. Например, измените cls на:

cls = Optional(Suppress("[Classification:") + 
             SkipTo(RBRACK)("classification") + RBRACK) 

. Это позволит вам получить доступ к данным классификации, используя fields.classification .