Вращение Прокси для веб-очистки
У меня есть поисковый робот Python, и я хочу распределить запросы загрузки среди многих различных прокси-серверов, вероятно, рабочий сквид (хотя я открыт для альтернатив). Например, это могло работать циклическим способом, куда request1 переходит к proxy1, request2 к proxy2 и в конечном счете цикличному выполнению назад вокруг. Какая-либо идея, как настроить это?
Чтобы мешать, я также хотел бы иметь возможность динамично изменить список доступных прокси, победить некоторых и добавить других.
Если это имеет значение, IP-адреса присвоены динамично.
Спасибо:)
1 ответ
Сделайте так, чтобы ваш сканер имел список прокси-серверов, и с каждым HTTP-запросом разрешил ему использовать следующий прокси из списка в циклическом режиме. Однако это помешает вам использовать постоянные соединения HTTP / 1.1. Изменение списка прокси-серверов в конечном итоге приведет к использованию нового или неиспользования прокси.
Или можно открыть несколько подключений параллельно, по одному для каждого прокси-сервера, и распределить ваши запросы сканирования на каждое из открытых подключений. Динамика может быть реализована путем регистрации коннетора в диспетчере запросов.