Python Scrapy, как определить конвейер для объекта?
как маленький запуск мы создали что-то, что некоторые люди называют "сервером приложений". но на самом деле это - просто набор интегрированных библиотек языка Common LISP для sql возможности соединения и веб-приложений. приблизительно детали доступны в страница
проекта статьи-dwim с помощью этого, мы разработали и действуем веб-приложение для венгерского правительства , которые собирают данные из местных органов власти, и вычисляет соответствующую часть бюджета страны. это - второй бюджет, который мы планируем теперь.
это имеет приблизительно 4 000 пользователей, и это работает на кластере компьютеров.
с "академического языка": мы играем с вещами как персистентные продолжения для моделирования бизнес-процессов. это - некоторый случайный код шепелявости с несколькими дополнительными связанными с процессом примитивами и несколькими ограничениями. это может остановить наугад точки в коде и заснуть (фиксируйтесь в базу данных), в то время как это ожидает некоторого внешнего события.
это практичный или академический?вам решать... :)
1 ответ
Теперь только один способ - проверить Тип элемента в конвейере и обработать его или вернуть «как есть» "
pipelines.py :
from grabbers.items import FeedItem
class StoreFeedPost(object):
def process_item(self, domain, item):
if isinstance(item, FeedItem):
#process it...
return item
items.py :
from scrapy.item import ScrapedItem
class FeedItem(ScrapedItem):
pass