Следуя ссылкам, фреймворк веб-сканера Scrapy

После нескольких чтений документации Scrapy я все еще не улавливаю разницу между использованием правил CrawlSpider и реализацией моего собственного механизма извлечения ссылок в методе обратного вызова.

Я собираюсь написать новый поисковый робот, использующий последний подход, но только потому, что у меня был плохой опыт в прошлом проекте с использованием правил. Я действительно хотел бы знать, что именно я делаю и почему.

Кто-нибудь знаком с этим инструментом?

Спасибо за вашу помощь!