Данные таблицы с дополнительными элементами пользователя в CSV с использованием Scrapy

Question

Вы можете упростить это:

while read file key log lat
do
  echo "$cmd" "$key" "$log" "$lat" "$file"
done < "$input"

1

задан Rickoshet 23 February 2019 в 15:14

1 ответ

Другие вопросы по тегам:

score 0 · Answer 1

Механизм Item / ItemLoader соответствует вашим целям. Что-то вроде:

Определите элемент для строки данных:

class DataRowItem(scrapy.Item):
     current_time = scrapy.Field()
     firstitem = scrapy.Field()
     ...

Затем объявите соответствующий ItemLoader:

class DataRowItemLoader(scrapy.ItemLoader):
    default_item_class = DataRowItem
    default_output_processor = TakeFirst()

В функции разбора:

[112 ]

И затем сериализовать элементы в CSV, используя, например, этот метод: Экспорт CSV-файла из Scrapy (не через командную строку)