крупномасштабная регрессия в R с редкой матрицей функции
Я хотел бы сделать крупномасштабную регрессию (линейную/логистическую) в R со многими (например, 100k) функции, где каждый пример относительно редок в пространстве признаков---, например, ~1k ненулевые функции на пример.
Это походит на пакет SparseM slm должен сделать это, но я испытываю затруднения при преобразовании из sparseMatrix формат к a slm- дружественный формат.
У меня есть числовой вектор маркировок y и a sparseMatrix из функций X \in {0,1}. Когда я пробую
model <- slm(y ~ X)
Я получаю следующую ошибку:
Error in model.frame.default(formula = y ~ X) :
invalid type (S4) for variable 'X'
по-видимому, потому что slm хочет a SparseM объект вместо a sparseMatrix.
Есть ли простой способ к любому, какие a) заполняют a SparseM возразите непосредственно, или b) преобразовывают a sparseMatrix к a SparseM объект? Или возможно существует лучший/более простой способ сделать это?
(Я предполагаю, что мог явно кодировать решения для использования линейной регрессии X и y, но было бы хорошо иметь slm работа.)
2 ответа
Не знаю о SparseM , но в пакете MatrixModels есть неэкспортированная функция lm.fit.sparse , которую вы можете использовать. См. ? MatrixModels ::: lm.fit.sparse . Вот пример:
Создайте данные:
y <- rnorm(30)
x <- factor(sample(letters, 30, replace=TRUE))
X <- as(x, "sparseMatrix")
class(X)
# [1] "dgCMatrix"
# attr(,"package")
# [1] "Matrix"
dim(X)
# [1] 18 30
Запустите регрессию:
MatrixModels:::lm.fit.sparse(t(X), y)
# [1] -0.17499968 -0.89293312 -0.43585172 0.17233007 -0.11899582 0.56610302
# [7] 1.19654666 -1.66783581 -0.28511569 -0.11859264 -0.04037503 0.04826549
# [13] -0.06039113 -0.46127034 -1.22106064 -0.48729092 -0.28524498 1.81681527
Для сравнения:
lm(y~x-1)
# Call:
# lm(formula = y ~ x - 1)
#
# Coefficients:
# xa xb xd xe xf xg xh xj
# -0.17500 -0.89293 -0.43585 0.17233 -0.11900 0.56610 1.19655 -1.66784
# xm xq xr xt xu xv xw xx
# -0.28512 -0.11859 -0.04038 0.04827 -0.06039 -0.46127 -1.22106 -0.48729
# xy xz
# -0.28524 1.81682
Вы также можете получить пробег, посмотрев здесь:
- Пакет biglm .
- Представление задач R Высокопроизводительные и параллельные вычисления .
- Статья Мартина Махлера и Дугласа Бейтса из UseR 2010 о Матриц разреженных моделей для обобщенных линейных моделей (PDF).