Я только что установил и запустил scrapy, он отлично работает, но у меня есть два (нуба) вопроса. Прежде всего, я должен сказать, что я совершенно не знаком с сайтами scrapy и spidering.
Можете ли вы ограничить количество сканируемых ссылок? У меня есть сайт, который не использует нумерацию страниц и просто перечисляет множество ссылок (которые я сканирую) на своей домашней странице. Мне нехорошо сканировать все эти ссылки, когда мне действительно нужно сканировать первые 10 или около того.
Как запустить несколько пауков одновременно? Сейчас я использую команду scrapy crawl example.com
, но у меня также есть пауки для example2.com и example3.com. Я хочу запустить всех своих пауков с помощью одной команды. Возможно ли это?