Python, Scipy: построение троек с использованием большой матрицы смежности

Я использую матрицу смежности для представления сети друзей, которую можно визуально интерпретировать как

Mary     0        1      1      1

Joe      1        0      1      1

Bob      1        1      0      1

Susan    1        1      1      0 

         Mary     Joe    Bob    Susan

Используя эту матрицу, я хочу составить список всех возможных треугольников дружбы с условием, что пользователь 1 дружит с пользователем. 2, а пользователь 2 дружит с пользователем 3. Для моего списка не требуется, чтобы пользователь 1 дружил с пользователем 3.

(joe, mary, bob)
(joe, mary, susan)
(bob, mary, susan)
(bob, joe, susan)

У меня есть небольшой код, который хорошо работает с маленькими треугольниками, но мне нужно его масштабировать для очень больших разреженных матриц.

from numpy import *
from scipy import *

def buildTriangles(G):
    # G is a sparse adjacency matrix
    start = time.time()
    ctr = 0
    G = G + G.T          # I do this to make sure it is symmetric
    triples = []
    for i in arange(G.shape[0] - 1):  # for each row but the last one
        J,J = G[i,:].nonzero()        # J: primary friends of user i
                                      # I do J,J because I do not care about the row values
        J = J[ J < i ]                # only computer the lower triangle to avoid repetition
        for j in J:
            K, buff = G[:,j].nonzero() # K: secondary friends of user i
            K = K[ K > i ]             # only compute below i to avoid repetition
            for k in K:
                ctr = ctr + 1
                triples.append( (i,j,k) )
    print("total number of triples: %d" % ctr)
    print("run time is %.2f" % (time.time() - start())
    return triples

Мне удалось запустить код на csr_matrix примерно за 21 минуту. Матрица имела размер 1032570 x 1032570 и содержала 88910 хранимых элементов. Всего было сгенерировано 2178893 триплета.

Мне нужно сделать что-то подобное с разреженной матрицей 1968654 x 1968654 с 9428596 сохраненными элементами.

Я новичок в python (чуть меньше месяца опыта) и не лучший в линейной алгебре, поэтому мой код не использует преимущества операций с матрицами. Может ли кто-нибудь внести какие-либо предложения по улучшению или сообщить мне, реалистична ли моя цель?

11
задан will 3 August 2011 в 19:15
поделиться