Лучший способ агрегировать несколько файлов журнала с нескольких [закрытых] серверов
В Java все переменные, которые вы объявляете, на самом деле являются «ссылками» на объекты (или примитивы), а не самими объектами.
При попытке выполнить один метод объекта , ссылка просит живой объект выполнить этот метод. Но если ссылка ссылается на NULL (ничего, нуль, void, nada), то нет способа, которым метод будет выполнен. Тогда runtime сообщит вам об этом, выбросив исключение NullPointerException.
Ваша ссылка «указывает» на нуль, таким образом, «Null -> Pointer».
Объект живет в памяти виртуальной машины пространство и единственный способ доступа к нему - использовать ссылки this. Возьмем этот пример:
public class Some {
private int id;
public int getId(){
return this.id;
}
public setId( int newId ) {
this.id = newId;
}
}
И в другом месте вашего кода:
Some reference = new Some(); // Point to a new object of type Some()
Some otherReference = null; // Initiallly this points to NULL
reference.setId( 1 ); // Execute setId method, now private var id is 1
System.out.println( reference.getId() ); // Prints 1 to the console
otherReference = reference // Now they both point to the only object.
reference = null; // "reference" now point to null.
// But "otherReference" still point to the "real" object so this print 1 too...
System.out.println( otherReference.getId() );
// Guess what will happen
System.out.println( reference.getId() ); // :S Throws NullPointerException because "reference" is pointing to NULL remember...
Это важно знать - когда больше нет ссылок на объект (в пример выше, когда reference и otherReference оба указывают на null), тогда объект «недоступен». Мы не можем работать с ним, поэтому этот объект готов к сбору мусора, и в какой-то момент VM освободит память, используемую этим объектом, и выделит другую.
6 ответов
Опции:
- Использование SocketAppender для отправки всех журналов в 1 сервер непосредственно. (Это могло производительность корзины serverly и добавлять единую точку отказа.)
- сценарии Использования для агрегации данных. Я использую scp, ssh, и аутентификационные ключи, чтобы позволить моим сценариям получать данные из всех серверов без любых приглашений ко входу в систему.
Мы используем простой сценарий оболочки как тот ниже. Необходимо было бы, очевидно, настроить его несколько, чтобы сказать его о различных именах файлов и решить, на каком поле искать, который, но Вы получаете общее представление. В нашем случае мы выслеживаем файл в том же местоположении на нескольких полях. Это требует аутентификации SSH через сохраненные ключи вместо того, чтобы ввести в паролях.
#!/bin/bash
FILE=$1
for box in box1.foo.com box2.foo.com box3.foo.com box4.foo.com; do
ssh $box tail -f $FILE &
done
Относительно комментария Mike Funk о неспособности уничтожить конец с ^C, я храню вышеупомянутое в файле, названном multitails.sh, и добавил следующее до конца его. Это создает kill_multitails.sh файл, который Вы выполняете, когда Вы сделаны, выследив, и затем он удаляет себя.
# create a bash script to kill off
# all the tails when you're done
# run kill_multitails.sh when you're finished
echo '#!/bin/sh' > kill_multitails.sh
chmod 755 kill_multitails.sh
echo "$(ps -awx | grep $FILE)" > kill_multitails_ids
perl -pi -e 's/^(\d+).*/kill -9 $1/g' kill_multitails_ids
cat kill_multitails_ids >> kill_multitails.sh
echo "echo 'running ps for it'" >> kill_multitails.sh
echo "ps -awx | grep $FILE" >> kill_multitails.sh
echo "rm kill_multitails.sh" >> kill_multitails.sh
rm kill_multitails_ids
wait
Awstats предоставляет сценарий жемчуга, который может объединить несколько апачских файлов журнала вместе. Этот сценарий масштабируется хорошо, так как объем потребляемой памяти является очень низким, файлы журналов никогда не загружаются в памяти. Я знаю, что СИ не точно, в чем Вы нуждаетесь, но возможно можно запустить с этого сценария и адаптировать его к потребностям.
Вы можете использовать различные приемники, доступные с бензопилой (vfslogfilepatternreceiver к файлам для хвоста над ssh, socketreceiver, udpreceiver, customscldbreceiver и т. Д.), а затем объединяют журналы на одну вкладку, изменив идентификатор вкладки по умолчанию. Или создание «пользовательских выражений LogPanel», предоставив выражение, которое соответствует событиям на вкладках различных источников.
gltail - визуализация серверного трафика, событий и статистики в реальном времени с помощью Ruby, SSH и OpenGL с нескольких серверов
Вероятно, самым легким решением для просмотра логов в реальном времени является использование Dancer's shell в параллельном режиме с tail -f:
dsh -Mac -- tail -f /var/log/apache/*.log
- The -a - для всех имен машин, которые вы определили в ~/. dsh/machines.list
- Параметр -c предназначен для одновременного запуска tail
- Параметр -M добавляет имя хоста к каждой строке вывода.