Ползать с аутентифицированным сеансом в Scrapy

Вы должны создать объект Session и установить для переменной max_redirects значение 3

session = requests.Session()
session.max_redirects = 3
session.get(url)

TooManyRedirects исключение, если запросы превышают максимальное количество переадресации.

Связанная проблема github, обсуждающая, почему вы не можете установить max_redirects за запрос https://github.com/kennethreitz/requests/issues/1300