Библиотека или инструмент для параллельной загрузки нескольких файлов [закрыто]

В настоящее время этот вопрос не подходит для нашего формата вопросов и ответов. Мы ожидаем, что ответы будут подтверждены фактами, ссылками или опытом, но этот вопрос, скорее всего, потребует дебатов, аргументов, опросов или расширенного обсуждения. Если вы считаете, что этот вопрос можно улучшить и, возможно, снова открыть, посетите справочный центр , чтобы получить рекомендации.

Закрыт 6 лет назад .

Я ищу библиотеку Python или инструмент командной строки для параллельной загрузки нескольких файлов. Мое текущее решение - последовательно загружать файлы, что медленно. Я знаю, что вы можете легко написать неполное потоковое решение на python, но я всегда сталкиваюсь с неприятной проблемой при использовании потоковой передачи. Он предназначен для опроса большого количества xml-каналов с веб-сайтов.

Мои требования к решению следующие:

Должно быть прерываемым. Ctrl + C должен немедленно прекратить все загрузки.
Не должно быть оставшихся процессов, которые вы должны убить вручную с помощью kill, даже если основная программа выйдет из строя или возникнет исключение.
Это должно работать и в Linux, и в Windows. .
Он должен повторять загрузки, быть устойчивым к ошибкам сети и должен правильно истекать тайм-аут.
Он должен уметь не забивать один и тот же сервер более чем 100 одновременными загрузками, а помещать их в очередь разумным образом.
Это должен обрабатывать важные коды состояния http, такие как 301, 302 и 304. Это означает, что для каждого файла он должен принимать значение Last-Modified в качестве входных данных и загружать только в том случае, если оно изменилось с прошлого раза.
Предпочтительно он должен иметь индикатор выполнения или должно быть легко написать индикатор выполнения, чтобы отслеживать прогресс загрузки всех файлов.
Предпочтительно он должен использовать HTTP keep-alive, чтобы максимизировать скорость передачи.

Пожалуйста, не предлагайте, как я могу выполнить вышеуказанные требования. Я ищу готовое, проверенное в боях решение.

Думаю, я тоже должен описать то, для чего оно мне нужно ... У меня есть около 300 различных каналов данных в виде файлов в формате xml, обслуживаемых 50 поставщиками данных. Размер каждого файла составляет от 100 КБ до 5 МБ. Мне нужно часто опрашивать их (например, каждые несколько минут), чтобы определить, есть ли у кого-нибудь из них новые данные, которые мне нужно обработать. Поэтому важно, чтобы загрузчик использовал http-кеширование, чтобы минимизировать объем данных для выборки. Очевидно, он также использует сжатие gzip.

Тогда большая проблема состоит в том, как максимально эффективно использовать полосу пропускания, не выходя за границы. Например, один поставщик данных может счесть злоупотреблением, если вы откроете 20 одновременных подключений к его каналам данных. Вместо этого может быть лучше использовать одно или два соединения, которые повторно используются для нескольких файлов. Или ваше собственное соединение может быть ограничено странным образом ... Мой провайдер ограничивает количество запросов DNS, которые вы можете выполнять, поэтому было бы неплохо использовать какое-то кеширование DNS.

Библиотека или инструмент для параллельной загрузки нескольких файлов [закрыто]

0 ответов

Похожие вопросы: