Предположим, что источник данных устанавливает жесткое дросселирование на основе IP. Будет ли у веб-скребка какой-либо способ загрузить данные, если дроссель начнет отклонять их запросы уже на 1% загружаемых данных?
Единственный метод, который я мог бы придумать для хакера, использующего здесь, - это какая-то прокси-система . Но похоже, что прокси (даже если они быстрые) в конечном итоге дойдут до газа.
Обновление: Некоторые люди ниже упомянули большие прокси-сети, такие как Yahoo Pipes и Tor, но нельзя ли занести эти диапазоны IP-адресов или известные выходные узлы в черный список?