Мне нужно выполнить кластеризацию k-средних на действительно огромной матрице (около 300 000 x 100 000 значений, что составляет более 100 ГБ). Я хочу знать, могу ли я использовать программное обеспечение R для выполнения этого или weka. Мой компьютер - многопроцессор с 8 ГБ оперативной памяти и сотнями ГБ свободного места.
У меня достаточно места для вычислений, но загрузка такой матрицы кажется проблемой с R (я не думаю, что использование пакета bigmemory поможет Я и большая матрица автоматически используют всю мою оперативную память, а затем мой файл подкачки, если недостаточно места).
Итак, мой вопрос: какое программное обеспечение мне следует использовать (в конечном итоге в сочетании с некоторыми другими пакетами или пользовательскими настройками).
Спасибо за помогая мне.
Примечание: я использую linux.