R: using data.table := операции для вычисления новых столбцов

Давайте возьмем следующие данные:

dt <- data.table(TICKER=c(rep("ABC",10),"DEF"),
        PERIOD=c(rep(as.Date("2010-12-31"),10),as.Date("2011-12-31")),
        DATE=as.Date(c("2010-01-05","2010-01-07","2010-01-08","2010-01-09","2010-01-10","2010-01-11","2010-01-13","2010-04-01","2010-04-02","2010-08-03","2011-02-05")),
        ID=c(1,2,1,3,1,2,1,1,2,2,1),VALUE=c(1.5,1.3,1.4,1.6,1.4,1.2,1.5,1.7,1.8,1.7,2.3))
setkey(dt,TICKER,PERIOD,ID,DATE)

Теперь для каждой комбинации тикер/период мне нужно следующее в новом столбце:

• PRIORAVG: среднее значение последнего ЗНАЧЕНИЯ каждого идентификатора, исключая текущий идентификатор. , при условии, что ему не более 180 дней.
• PREV: предыдущее значение того же идентификатора.

Результат должен выглядеть следующим образом:

      TICKER     PERIOD       DATE ID VALUE PRIORAVG PREV
 [1,]    ABC 2010-12-31 2010-01-05  1   1.5       NA   NA
 [2,]    ABC 2010-12-31 2010-01-08  1   1.4     1.30  1.5
 [3,]    ABC 2010-12-31 2010-01-10  1   1.4     1.45  1.4
 [4,]    ABC 2010-12-31 2010-01-13  1   1.5     1.40  1.4
 [5,]    ABC 2010-12-31 2010-04-01  1   1.7     1.40  1.5
 [6,]    ABC 2010-12-31 2010-01-07  2   1.3     1.50   NA
 [7,]    ABC 2010-12-31 2010-01-11  2   1.2     1.50  1.3
 [8,]    ABC 2010-12-31 2010-04-02  2   1.8     1.65  1.2
 [9,]    ABC 2010-12-31 2010-08-03  2   1.7     1.70  1.8
[10,]    ABC 2010-12-31 2010-01-09  3   1.6     1.35   NA
[11,]    DEF 2011-12-31 2011-02-05  1   2.3       NA   NA

Обратите внимание на PRIORAVGна строка 9 равна 1,7 (что равно ЗНАЧЕНИЕв строке 5, что является единственным предыдущим наблюдением за последние 180 дней другим ID)

Я обнаружил data.tablep ackage, но я не могу полностью понять функцию :=. Когда я делаю это просто, это, кажется, работает.Чтобы получить предыдущее значение для каждого идентификатора (я основывался на решении этого вопроса ):

dt[,PREV:=dt[J(TICKER,PERIOD,ID,DATE-1),roll=TRUE,mult="last"][,VALUE]]

Это прекрасно работает, и для выполнения этой операции над моим набором данных с ~ 250 тыс. строк требуется всего 0,13 секунды. ; моя функция векторного сканирования дает такие же результаты, но примерно в 30 000 раз медленнее.

Итак, у меня есть первое требование. Перейдем ко второму, более сложному требованию. Прямо сейчас метод поста для меня использует пару векторных сканирований и бросает функцию через plyrфункцию adplyдля получения результата для каждой строки.

calc <- function(df,ticker,period,id,date) {
  df <- df[df$TICKER == ticker & df$PERIOD == period 
        & df$ID != id & df$DATE < date & df$DATE > date-180, ]
  df <- df[order(df$DATE),]
  mean(df[!duplicated(df$ID, fromLast = TRUE),"VALUE"])
}

df <- data.frame(dt)
adply(df,1,function(x) calc(df,x$TICKER,x$PERIOD,x$ID,x$DATE))

Я написал функцию для data.frameи, похоже, она не работает с data.table. Для подмножества из 5000 строк это занимает около 44 секунд, но мои данные состоят из> 1 миллиона строк. Интересно, можно ли сделать это более эффективным за счет использования :=.

dt[J("ABC"),last(VALUE),by=ID][,mean(V1)]

Это работает, чтобы выбрать среднее из последних ЗНАЧЕНИЙ для каждого ID для ABC.

dt[,PRIORAVG:=dt[J(TICKER,PERIOD),last(VALUE),by=ID][,mean(V1)]]

Это, однако, не работает должным образом, так как принимает среднее значение всех последних ЗНАЧЕНИЙ для всех тикеров/периодов, а не только для текущего тикера/периода. Таким образом, все строки получают одинаковое среднее значение. Я что-то не так делаю или это ограничение :=?