Scrapy считывает список URL из файла для сканирования?

Я только что установил scrapy и последовал их простому учебнику по dmoz учебник, который работает. Я только что изучил основы работы с файлами в python и попытался заставить краулер прочитать список URL из файла, но получил несколько ошибок. Возможно, это неправильно, но я попробовал. Не мог бы кто-нибудь показать мне пример чтения списка URL в scrapy? Заранее спасибо.

from scrapy.spider import BaseSpider

class DmozSpider(BaseSpider):
    name = "dmoz"
    allowed_domains = ["dmoz.org"]
    f = open("urls.txt")
    start_urls = f

    def parse(self, response):
        filename = response.url.split("/")[-2]
        open(filename, 'wb').write(response.body)

12
задан Dagg Nabbit 16 March 2012 в 20:16
поделиться