Почему все включают вероятность и статистику в золотом списке, не упоминая исчисление? Нельзя понять то, о чем вероятность и статистика, по крайней мере, без практического знания пределов, производных, интегралов и ряда. И в целом, исчисление (вместе с линейной алгеброй) является рабочей лошадью весь математика.
Взгляните на бесплатную версию Splunk - она будет обрабатывать удаленный сбор файлов журнала, а также предоставит вам несколько действительно хороших инструментов поиска и анализа.
Используйте syslog-ng, популярный инструмент, который передает сообщения журнала по TCP, при необходимости зашифрованные.
Я еще не реализовал его, но я наткнулся на Facebook Scribe, и он кажется хорошей идеей. https://github.com/facebookarchive/scribe
Пока я этого не добился, я делал именно то, что вы упомянули для №1 - у меня есть задание cron, которое использует sftp для извлечения файлов. Я выбрал это, потому что даже если бы я сделал №2, у меня были случаи, когда машина ec2 давала сбой, и мне все равно приходилось вытаскивать файлы журнала.