Как внедрить пул прокси в несколько сканеров scrapy?

Я использую это, чтобы запустить Log4j Logger в верхней части моих классов (или аннотировать).

PRO: Throwable уже загружен, и вы можете сэкономить ресурсы, не используя «IO heavy» SecurityManager.

CON: Вопрос о том, будет ли это работать для всех JVM.

// Log4j . Logger --- Get class name in static context by creating an anonymous Throwable and 
// getting the top of its stack-trace. 
// NOTE you must use: getClassName() because getClass() just returns StackTraceElement.class 
static final Logger logger = Logger.getLogger(new Throwable() .getStackTrace()[0].getClassName()); 
-1
задан Paulo Cirino 19 March 2019 в 14:26
поделиться

1 ответ

Да, вы можете реализовать такую ​​обработку прокси, используя промежуточное ПО загрузчика .

Найдите в Github «прокси-сервер scrapy» , чтобы найти примеры промежуточных программ для загрузчиков, которые обрабатывают конфигурацию прокси.

0
ответ дан Gallaecio 19 March 2019 в 14:26
поделиться
Другие вопросы по тегам:

Похожие вопросы: