Действительно ли bigint является достаточно большим для таблицы журнала событий?
Для одного или нескольких NaN значений:
ts.resample('5min').agg(pd.Series.sum, skipna=False)
Для минимума из 2 не NaN значений:
ts.resample('5min').agg(pd.Series.sum, min_count=2)
максимальное из 2 NaN значений кажется хитрым:
ts.resample('5min').apply(lambda x: x.sum() if x.isnull().sum() <= 2 else np.nan)
Можно ожидать, что ts.resample('5min').sum(skipna=False) будет работать так же, как ts.sum(skipna=False), но реализации не согласованы. [ 1113]
4 ответа
Даже если бы каждая из Ваших записей только имела 1 байт, 2^64, то записи заняли бы приблизительно 18 000 000 ТБ на Вашем жестком диске, таким образом, я предполагаю, что Вы не должны волноваться об этом.
"Как большой я должен позволить таблице журнала событий добраться, прежде чем я начну архивировать / убирание ее?"
Никогда не очищайте журналы событий - информация имеет значительное значение.
Однако, когда некоторый менеджер настаивает, что архив необходим, можно показать стоимость устройства хранения данных по сравнению со стоимостью времени для (a) думать об этом, (b) получить вторые и третьи мнения, и затем (c), чтобы записать процедуру в записи архивного журнала.
Стоимость устройства хранения данных резко падает. Ваше время лучше проведено на ЧЕМ-ЛИБО кроме чистки записей журнала.
Нижняя строка: у Вас есть разрешение прекратить воздевать Ваши руки. Это - вся польза. Вы не делаете фундаментальную ошибку.
Очень маловероятно, что у Вас будут когда-либо заканчиваться значения первичного ключа. Однако Вы, возможно, должны рассмотреть, как Вы хотите получить доступ к таблице журнала для получения данных. Используйте это для информирования, когда необходимо будет заархивировать или убрать данные. Если данные логов прочитаны, часто думают об индексах addding для улучшения производительности чтения, но иметь в виду, что индексы должны сохраняться для каждой добавленной записи.
Путем мы обрабатываем, это путем обеспечения функциональности архивации журнала, которая выделяет таблицу журнала в отдельные базы данных к году, позволяя нам сбросить семя идентификационных данных на нашей таблице LogEvent.
У нас также есть различные таблицы журнала, хотя только два основных.