Сканированы ссылки Scrapy Django Limit

Я только что установил и запустил scrapy, он отлично работает, но у меня есть два (нуба) вопроса. Прежде всего, я должен сказать, что я совершенно не знаком с сайтами scrapy и spidering.

  1. Можете ли вы ограничить количество сканируемых ссылок? У меня есть сайт, который не использует нумерацию страниц и просто перечисляет множество ссылок (которые я сканирую) на своей домашней странице. Мне нехорошо сканировать все эти ссылки, когда мне действительно нужно сканировать первые 10 или около того.

  2. Как запустить несколько пауков одновременно? Сейчас я использую команду scrapy crawl example.com , но у меня также есть пауки для example2.com и example3.com. Я хочу запустить всех своих пауков с помощью одной команды. Возможно ли это?

6
задан imns 24 November 2010 в 19:20
поделиться