Параллельная установка Pip

Наш проект Django становится огромным. У нас есть сотни приложений, и мы используем множество сторонних пакетов Python, многие из которых должны быть скомпилированы на C. Наши развертывания занимают много времени, когда нам нужно создать новую виртуальную среду для основных выпусков. С учетом сказанного, я хочу ускорить процесс, начиная с Пипа. Кто-нибудь знает о форке Pip, который будет устанавливать пакеты параллельно?

Шаги, которые я уже предпринял:

  • Я искал проект, который делает именно это, но без особого успеха. Я нашел этот Github Gist: https://gist.github.com/1971720, но результаты почти такие же, как у нашего однопоточного друга.

  • Затем я нашел проект Pip на Github и начал просматривать сеть форков, чтобы увидеть, смогу ли я найти какие-либо коммиты, в которых упоминается то, что я пытаюсь сделать. Там бардак. Я разветвлю его и попытаюсь распараллелить сам, если понадобится, я просто хочу не тратить на это время.

  • Я видел выступление на DjangoCon 2011 от ep.io, в котором объяснялось их развертывание, и они упоминали распараллеливание pip, отправку файлов .so вместо компиляции C и зеркалирование Pypi, но они не коснулись того, как они это сделали или что они сделали. использовал.

25
задан Kyle 13 June 2012 в 18:30
поделиться