Одновременный запуск нескольких пауков с помощью scrapyd.

Я использую scrapyдля проекта, в котором я хочу очистить ряд сайтов — возможно, сотни — и мне нужно написать конкретный паук для каждого сайта. Я могу запланировать одногопаука в проекте, развернутом в scrapyd, используя:

curl http://localhost:6800/schedule.json -d project=myproject -d spider=spider2

Но как мне запланировать всепауки в проекте одновременно?

Мы очень признательны за помощь!

10
задан Boud 29 May 2012 в 15:37
поделиться