Я обрабатываю довольно большие матрицы в Python / Scipy. Мне нужно извлечь строки из большой матрицы (которая загружается в coo_matrix) и использовать их как диагональные элементы. В настоящее время я делаю это следующим образом:
import numpy as np
from scipy import sparse
def computation(A):
for i in range(A.shape[0]):
diag_elems = np.array(A[i,:].todense())
ith_diag = sparse.spdiags(diag_elems,0,A.shape[1],A.shape[1], format = "csc")
#...
#create some random matrix
A = (sparse.rand(1000,100000,0.02,format="csc")*5).astype(np.ubyte)
#get timings
profile.run('computation(A)')
Из вывода профиля
я вижу, что большую часть времени уходит функция get_csr_submatrix
при извлечении diag_elems
]. Это наводит меня на мысль, что я использую либо неэффективное разреженное представление исходных данных, либо неправильный способ извлечения строки из разреженной матрицы. Можете ли вы предложить лучший способ извлечь строку из разреженной матрицы и представить ее в диагональной форме?
РЕДАКТИРОВАТЬ
Следующий вариант устраняет узкое место при извлечении строки (обратите внимание, что простое изменение 'csc'
до csr
недостаточно, A [i,:]
также необходимо заменить на A.getrow (i)
). Однако главный вопрос заключается в том, как опустить материализацию ( .todense ()
) и создать диагональную матрицу из разреженного представления строки.
import numpy as np
from scipy import sparse
def computation(A):
for i in range(A.shape[0]):
diag_elems = np.array(A.getrow(i).todense())
ith_diag = sparse.spdiags(diag_elems,0,A.shape[1],A.shape[1], format = "csc")
#...
#create some random matrix
A = (sparse.rand(1000,100000,0.02,format="csr")*5).astype(np.ubyte)
#get timings
profile.run('computation(A)')
Если я создаю DIAgonal матрицу непосредственно из 1-строчной матрицы CSR, как показано ниже:
diag_elems = A.getrow(i)
ith_diag = sparse.spdiags(diag_elems,0,A.shape[1],A.shape[1])
, то я не могу ни указать аргумент format = "csc"
, ни преобразовать ith_diags
в Формат CSC:
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "/usr/local/lib/python2.6/profile.py", line 70, in run
prof = prof.run(statement)
File "/usr/local/lib/python2.6/profile.py", line 456, in run
return self.runctx(cmd, dict, dict)
File "/usr/local/lib/python2.6/profile.py", line 462, in runctx
exec cmd in globals, locals
File "<string>", line 1, in <module>
File "<stdin>", line 4, in computation
File "/usr/local/lib/python2.6/site-packages/scipy/sparse/construct.py", line 56, in spdiags
return dia_matrix((data, diags), shape=(m,n)).asformat(format)
File "/usr/local/lib/python2.6/site-packages/scipy/sparse/base.py", line 211, in asformat
return getattr(self,'to' + format)()
File "/usr/local/lib/python2.6/site-packages/scipy/sparse/dia.py", line 173, in tocsc
return self.tocoo().tocsc()
File "/usr/local/lib/python2.6/site-packages/scipy/sparse/coo.py", line 263, in tocsc
data = np.empty(self.nnz, dtype=upcast(self.dtype))
File "/usr/local/lib/python2.6/site-packages/scipy/sparse/sputils.py", line 47, in upcast
raise TypeError,'no supported conversion for types: %s' % args
TypeError: no supported conversion for types: object`