Я использую scrapy для сканирования сайта, который, кажется, добавляет случайные значения в строку запроса в конце каждого URL. Это превращает сканирование в своего рода бесконечный цикл.
Как заставить scrapy игнорировать часть URL-адреса, содержащую строку запроса?