3
ответа

Фильтр Logstash на входе redis [дубликат]

Я написал этот файл logstash.conf: input {redis {host = & gt; "127.0.0.1" db = & gt; 2 data_type = & gt; "list" key = & gt; "elastic: user"} redis {host = & gt; "127.0.0.1" ...
вопрос задан: 20 August 2013 09:49
2
ответа

Ошибка синтаксического анализа XML Logstash

Я использую последнюю версию стека ELK 6.6 для образа deviantony / docker-elk. У меня есть следующий XML-файл, который я пытаюсь проанализировать в объект ES JSON: <? Xml version = "1.0" encoding = "UTF-8"? > < корень > & ...
вопрос задан: 27 March 2019 20:53
2
ответа

Как использовать условие IF ELSE в шаблоне grok в logstash

У меня объединены веб-журнал и API-интерфейс, и я хочу сохранить его отдельно вasticsearch. Итак, я хочу написать один шаблон, если запрос для API, то если прошлое должно выполняться, запрос веб, а затем ...
вопрос задан: 16 January 2019 12:24
2
ответа

Grok Pattern для многострочного не работает

первая | C: \ samplefiles \ test \ storage \ 4.0 (LF) C: \ ...
вопрос задан: 13 July 2018 04:04
1
ответ

Отрицание от символа до предыдущего пробела

Попытка использовать фильтры logstash grok (oniguruma regex) для фильтрации некоторых журналов. Для записи в журнале, которая выглядит следующим образом: 2019-03-24 17: 57: 14,202 p = 19455 u = root | ЗАДАЧА [это имя задачи msg = Debug ...
вопрос задан: 28 March 2019 17:07
1
ответ

Filebeat и Logstash иногда читают старые файлы

У меня есть папка с файлами журналов с 2016 года по настоящее время и установочный файл с «ignore_older: 48h». Все файлы вращаются, так что «log» всегда новый, «log.1» следующий и т. Д. Журналы находятся на linux ...
вопрос задан: 21 March 2019 10:54
1
ответ

многопрофильный решатель logstash

Ниже приведен пример использования. Основываясь на некоторой бизнес-логике во время выполнения, мне нужно опубликовать события, сгенерированные из файла журнала, в разные конечные точки эластичного поиска. Плагин ввода (имя файла) будет таким же, но ...
вопрос задан: 19 March 2019 09:05
1
ответ

Как применить субфильтр в logstash

logstash позволяет извлекать шаблоны через фильтр Grok. Мой вопрос, как я могу использовать его в последующем фильтре? Например, журнал apache предоставляет путь URI запроса, что-то вроде / path / ...
вопрос задан: 11 March 2019 14:27
1
ответ

каким будет шаблон Grok для этого пользовательского шаблона журнала?

Ниже приведена небольшая часть моего журнала: 2018-12-06 18:55:20 INFO epo - myfile.xml успешно загружен подарок ...
вопрос задан: 18 January 2019 15:19
1
ответ

Как получить результат ElasticSearch?

Я хочу добавить свой документ журнала в ElasticSearch, а затем я хочу проверить документ в ElasticSearch. Ниже приводится содержание файла журнала: 1 января 06:25:43 mailserver14 postfix / cleanup [...
вопрос задан: 18 January 2019 07:56
1
ответ

Разбор многострочного стека трассировки logstash

Я пытаюсь проанализировать пользовательские сообщения журнала, которые также имеют трассировки стека ошибок, которые занимают несколько строк. Мой шаблон GROK не может разобрать, если это многострочная трассировка стека, и все, что я вижу вasticsearc ...
вопрос задан: 16 January 2019 13:59
1
ответ

Как сделать & ldquo; где не существует & rdquo; Тип фильтрации в Кибане / ELK?

Я использую ELK для создания информационных панелей из моих файлов журнала. У меня есть файл журнала с записями, которые содержат значение идентификатора и значение «успех» / «сбой», показывая, является ли операция с данным идентификатором ...
вопрос задан: 18 December 2014 00:55
0
ответов

Logstash только читает файл, когда я делаю ручные изменения в файл

В настоящее время у меня есть программа, которая записывает массив json в файл json. Файл json изначально пуст. У меня также есть экземпляр logstash, работающий со следующим файлом конфигурации. input {file {...
вопрос задан: 25 June 2019 19:36
0
ответов

создание взаимодействия между журналом и базой данных сластиком поиска для просмотра в кибане

Я хотел бы сделать взаимодействие между моим журналом и базой данных с помощью elk для отображения в kibana. Я уже пытался импортировать свою базу данных в elk с помощью плагина jbdc, но я хочу создать ...
вопрос задан: 9 April 2019 16:36
0
ответов

Существует ли один шаблон grok, который может анализировать 2 разных стиля одного и того же системного журнала

У меня есть системные журналы этого типа - 05 апреля 11:35:54 FNM00181600566-A control-path [20757]: 2019-04-05 11: 35: 54.168 [] [INFO] [com.command.CommandServiceVerticle | вер. x-eventloop-thread-3] [f0a447b9-cd28 -...
вопрос задан: 9 April 2019 11:18
0
ответов

Создайте индекс с тем же именем, что и значение пути запроса, используя вывод ElasticSearch

Это мой logstash.conf: input {http {host = > "127.0.0.1" port = > 31311}} output {asticsearch {hosts = > ["http: // localhost: 9200"]} stdout {...
вопрос задан: 9 April 2019 09:17
0
ответов

Filebeat не может отправить журналы в logstash с ошибкой журнала / комбайна

Я следую этому руководству, чтобы получать журналы из моих док-контейнеров, хранящихся в эластичном поиске через filebeat и logstash. Ссылка на учебное пособие Однако в kibana ничего не отображается, и когда я запускаю докер -...
вопрос задан: 30 March 2019 22:51
0
ответов

Стек ELK - logstash не устанавливается должным образом

Я пытаюсь установить стек ELK. Elastic Search и Kibana были успешно установлены. Работает отлично. Но при установке Logstash он не устанавливается должным образом. Когда я начинаю ...
вопрос задан: 27 March 2019 07:46
0
ответов

почему плагин logstash geoip не может найти IP в базе данных

Я использую стек ELK для сбора системных журналов с брандмауэра iptables. Попытка визуализировать данные с помощью геоип фильтра. Logstash conf выглядит: filter {if [type] == "syslog" {mutate {gsub = ...
вопрос задан: 22 March 2019 17:32
0
ответов

Динамическое управление конфигурацией Logstash

Я запускаю logstash следующим образом. bin / logstash -f config / log_test.conf --config.reload.automatic Содержание: input {~~~~} filter {~~~~~} output {if [] {~~~~~} else if [] {~~~~~~~}} Я хочу ...
вопрос задан: 28 February 2019 09:05
0
ответов

Как отделить потребителя от группы потребителей, не теряя смещения?

У меня есть группа потребителей logstash kafka, подписавшаяся почти на 20 тем, которые не очень хорошо подходят для обработки определенной темы с высоким приоритетом, поэтому я решил удалить одну тему из ...
вопрос задан: 17 February 2019 17:33
0
ответов

Filebeat не может подключиться к logstash

Я использую два сервера в облаке, на одном сервере (A) я установил filebeat, а на втором сервере (B) я установил logstash ,asticsearch и kibana. Итак, я столкнулся с проблемой при отправке журналов из ...
вопрос задан: 18 January 2019 15:42
0
ответов

Загрузка нескольких XML-файлов в logstash

Я хочу загрузить несколько файлов XML в logstash одновременно, так что я должен добавить в мой файл конфигурации !. Спасибо, ребята, за вашу поддержку :) это мой конфигурационный файл: input {file {path = > ...
вопрос задан: 18 January 2019 15:12
0
ответов

Как вы знаете, сколько памяти вам нужно для импорта файла с Logstash?

У меня проблема с импортом .json файла 1.71 Go. Единственное сообщение, которое я получил, это «java.lang.OutOfMemoryError: пространство кучи Java». Итак, я отредактировал C: \ ProgramData \ Elastic \ Elasticsearch \ config \ jvm ....
вопрос задан: 18 January 2019 13:08
0
ответов

Скрипт logstash для удаления содержимого (документов) индекса, созданного с помощью ввода jdbc

Кто-нибудь может предоставить мне скрипт logstash для удаления содержимого (документов) индекса без удаления индекса? Индекс создается с использованием входного плагина jdbc.
вопрос задан: 18 January 2019 09:08
0
ответов

Как написать собственный шаблон Grok?

У меня есть образец журнала в файле журнала. Я хочу написать шаблон Grok в файле конфигурации logstash. Пожалуйста, предложите мне возможный правильный способ написать шаблон Грока для того же самого. 2019-01-10 15:33:38 ....
вопрос задан: 17 January 2019 09:46
0
ответов

Как отправить данные в существующий индекс (Elastic Search) из Logstash?

asticsearch {hosts = > индекс упругости: 9200 = > "logmessages" document_type = > "message"} Я хочу создать индекс с ...
вопрос задан: 17 January 2019 09:11
0
ответов

Как исправить ошибку блокировки logstash с помощью input-jdbc-plugin?

Я использую logstash с input-jdbc-plugin и output -asticsearch-plugin. Когда я пытаюсь синхронизировать массивные данные из PostgreSQL вasticsearch, я получаю следующее сообщение об ошибке:
вопрос задан: 17 January 2019 05:45
0
ответов

Как перенести булево поле на основе MongoDB в Elasticsearch с помощью Logstash

Я прочитал множество форумов и документацию Elasticsearch, но я так и не смог выяснить, как преобразовать поле на основе логического выражения из MongoDB в Elasticsearch с помощью Logstash. Вот мой образец ...
вопрос задан: 16 January 2019 11:39
0
ответов

Как сохранить authToken из Rest Call и поместить его в следующий, используя logstash http Poller

У меня есть сообщение authCall, и ответ на этот вызов является токеном. Как только я получаю токен, я хочу вызвать другой API, чтобы получить больше информации и использовать вышеупомянутый токен в нем. Я положил комментарии в ...
вопрос задан: 16 January 2019 10:46