Scrapy добавляет нежелательную префиксную ссылку при переходе по ссылке

for line in dropwhile(isBadLine, lines):
    # process as you see fit

Полная демонстрация:

from itertools import *

def isBadLine(line):
    return line=='0'

with open(...) as f:
    for line in dropwhile(isBadLine, f):
        # process as you see fit

Преимущества: Это легко расширяется в случаях, когда ваши префиксные линии сложнее, чем «0» (но не взаимозависимы).