Эффективно находя кратчайший путь в больших графиках

python-graph

добавлено:

Комментарии заставили меня полюбопытствовать, какова производительность pygraph для задачи порядка OP, поэтому я сделал игрушечную программу, чтобы выяснить это. Вот результат для немного уменьшенной версии задачи:

$ python2.6 biggraph.py 4 6
biggraph generate 10000 nodes     00:00:00
biggraph generate 1000000 edges   00:00:00
biggraph add edges                00:00:05
biggraph Dijkstra                 00:01:32
biggraph shortest_path done       00:04:15
step: 1915 2
step: 0 1
biggraph walk done                00:04:15
path: [9999, 1915, 0]

Неплохо для 10k узлов и 1M ребер. Важно отметить, что способ, которым pygraph вычисляет метод Дейкстры, дает словарь всех прямых деревьев для каждого узла относительно одной цели (которой произвольно был узел 0, не занимающий никакого привилегированного положения в графе). Таким образом, решение, на вычисление которого ушло 3,75 минуты, фактически дало ответ на вопрос "каков кратчайший путь от всех узлов к цели?". Действительно, как только shortest_path был выполнен, поиск ответа сводился к просмотру словаря и не занимал практически никакого времени. Стоит также отметить, что добавление предварительно вычисленных ребер в граф было довольно дорогостоящим - ~1,5 минуты. Эти временные показатели совпадают при многократных прогонах.

Я бы хотел сказать, что процесс хорошо масштабируется, но я все еще жду biggraph 5 6 на неработающем компьютере (Athlon 64, 4800 BogoMIPS на процессор, все в ядре), который работает уже более четверти часа. По крайней мере, использование памяти стабильно - около 0,5 ГБ. И вот результаты:

biggraph generate 100000 nodes    00:00:00
biggraph generate 1000000 edges   00:00:00
biggraph add edges                00:00:07
biggraph Dijkstra                 00:01:27
biggraph shortest_path done       00:23:44
step: 48437 4
step: 66200 3
step: 83824 2
step: 0 1
biggraph walk done                00:23:44
path: [99999, 48437, 66200, 83824, 0]

Это долго, но это были и тяжелые вычисления (и я очень жалею, что не замариновал результат). Вот код для любопытных:

#!/usr/bin/python

import pygraph.classes.graph
import pygraph.algorithms
import pygraph.algorithms.minmax
import time
import random
import sys

if len(sys.argv) != 3:
    print ('usage %s: node_exponent edge_exponent' % sys.argv[0])
    sys.exit(1)

nnodes = 10**int(sys.argv[1])
nedges = 10**int(sys.argv[2])

start_time = time.clock()
def timestamp(s):
    t = time.gmtime(time.clock() - start_time)
    print 'biggraph', s.ljust(24), time.strftime('%H:%M:%S', t)

timestamp('generate %d nodes' % nnodes)
bg = pygraph.classes.graph.graph()
bg.add_nodes(xrange(nnodes))

timestamp('generate %d edges' % nedges)
edges = set()
while len(edges) < nedges:
    left, right = random.randrange(nnodes), random.randrange(nnodes)
    if left == right:
        continue
    elif left > right:
        left, right = right, left
    edges.add((left, right))

timestamp('add edges')
for edge in edges:
    bg.add_edge(edge)

timestamp("Dijkstra")
target = 0
span, dist = pygraph.algorithms.minmax.shortest_path(bg, target)
timestamp('shortest_path done')

# the paths from any node to target is in dict span, let's
# pick any arbitrary node (the last one) and walk to the
# target from there, the associated distance will decrease
# monotonically
lastnode = nnodes - 1
path = []
while lastnode != target:
    nextnode = span[lastnode]
    print 'step:', nextnode, dist[lastnode]
    assert nextnode in bg.neighbors(lastnode)
    path.append(lastnode)
    lastnode = nextnode
path.append(target)
timestamp('walk done')
print 'path:', path