О модели параллелизма в scrapy

Теперь я планирую использовать scrapy в более распределенном подходе, и я не уверен, что пауки/конвейеры/загрузчики/планировщики и движок все размещены в отдельных процессах или потоках, может ли кто-нибудь поделиться некоторыми информация об этом? и можем ли мы изменить количество процессов/потоков для каждого компонент? Теперь я знаю, что есть две настройки "CONCURRENT_REQUESTS" и "CONCURRENT_ITEMS", они будут определять параллельные потоки для загрузчики и конвейеры, верно? и если я хочу развернуть пауков/ конвейеры/загрузчики на разных машинах, мне нужно сериализовать элементы/запросы/ответы, верно? Очень признателен за вашу помощь!!

Спасибо, Эдвард.

5
задан user1441208 7 June 2012 в 03:09
поделиться