Да, вы можете использовать simple_html_dom для этой цели. Однако я довольно много работал с simple_html_dom, особенно для веб-лома и обнаружил, что он слишком уязвим. Он выполняет основную работу, но я не буду рекомендовать ее в любом случае.
Я никогда не использовал завиток для этой цели, но то, что я узнал, заключается в том, что завиток может сделать работу намного эффективнее и намного более твердый.
Просьба проверить эту ссылку: выскабливание-сайты-с-завиток
Установите распространение , которое поставляется с egg_info
. Должно быть так же просто, как pip install Distribute
.
Распространение было объединено в Setuptools начиная с версии 0.7. Если вы используете версию & lt; = 0.6, обновите, используя pip install --upgrade setuptools
или easy_install -U setuptools
.
попробуйте выполнить следующую команду:
pip install setuptools==28.8.0
Ни один из вышеперечисленных не работал для меня на Ubuntu & nbsp; 12.04 LTS (Precise Pangolin), и вот как я его исправил в конце:
Загрузите ez_setup.py из загрузить setuptools (см. раздел «Инструкции по установке»):
$ sudo python ez_setup.py
Надеюсь, что это кому-то поможет.
Я просто конвертирую ответ Liquki в команды Ubuntu. В системе на основе Ubuntu это работает!:
sudo apt -y install python-pip
pip install -U pip
sudo pip install -U setuptools
Я знаю, что это более старый вопрос, но вот шаги, которые я использовал, чтобы cassandra-driver
установить на Windows 7 / Python2. У меня есть окна 10 / Python3 дома, где я буду тестировать это сегодня вечером. Я подтвердил, что это также работает в Windows 10 с Python 2 и 3.
Проблема
Command "python setup.py egg_info" failed with error code 1 in c:\users\Frito\appdata\local\temp\pip-build-7dgmdc\cassandra-driver
TL; DR Решение
Решение (Мне хотелось бы, чтобы кто-то объяснил, почему это сработало)
pip install cassandra-driver
и полученное выше сообщение об ошибке pip install --pre cassandra-driver
и получила следующую ошибку blockquote>distutils.errors.DistutilsError: Setup script exited with error: Microsoft Visual C++ 9.0 is required (Unable to find vcvarsall.bat). Get it from http://aka.ms/vcpython27 Command "c:\users\Frito\.virtualenvs\symdash\scripts\python.exe -u -c "import setuptools, tokenize;__file__='c:\\users\\Frito\\appdata\\local\\temp\\pip-build-sesxxu\\cassandra-driver\\setup.py';exec(compile(getattr(tokenize, 'open', open)(__file__).read().replace('\r\n', '\n'), __file__, 'exec'))" install --record c:\users\Frito\appdata\local\temp\pip-ujsxsk-record\install-record.txt --single-version-externally-managed --compile --install-headers c:\users\Frito\.virtualenvs\symdash\include\site\python2.7\cassandra-driver" failed with error code 1 in c:\users\Frito\appdata\local\temp\pip-build-sesxxu\cassandra-driver
- Установлен
Microsoft Visual C++ Compiler for Python 2.7
- Успешно выполнен
pip install --pre cassandra-driver
- Успешно выполнен
pip uninstall cassandra-driver
- Успешно выполнен
pip install cassandra-driver
Чтобы повторить, я не совсем уверен, почему это сработало. В настоящее время мои два основных вывода заключаются в том, что либо компилятор C ++ требуется , либо , который запускает параметр
--pre
, в первый раз установил некоторые зависимости, отсутствующие в «обычной» установке. Я буду обновлять сегодня после работы, когда у меня появятся дополнительные подробности.
Поскольку дистрибутив был объединен обратно в setuptools, теперь рекомендуется установить / обновить setuptools:
[sudo] pip install --upgrade setuptools
Похоже, что в его текущем местоположении по умолчанию сломан easy_install:
$ which easy_install
/usr/bin/easy_install
. Способ преодоления заключается в использовании пакетов easy_install в сайтах. Например:
$ sudo python /Library/Python/2.7/site-packages/easy_install.py boto
В CentOS 6.5 короткий ответ от чистой установки:
yum -y install python-pip
pip install -U pip
pip install -U setuptools
pip install -U setuptools
Вы не видите double, вы должны дважды запустить setuptools upgrade. Длинный ответ ниже:
Установка пакета python-pip
с использованием yum приводит python-setuptools
в качестве зависимости. Это довольно старая версия, и поэтому она фактически устанавливает distribute (0.6.10)
. После установки диспетчера пакетов мы обычно хотим его обновить, поэтому мы делаем pip install -U pip
. Текущая версия pip для меня - 1.5.6.
Теперь мы переходим к обновлению setuptools, и эта версия pip достаточно умна, чтобы знать, что она должна сначала удалить старую версию дистрибутива. Он делает это, но вместо этого, вместо установки последней версии setuptools, она устанавливает setuptools (0.6c11)
.
В этот момент все виды вещей сломаны из-за этой чрезвычайно старой версии setuptools, но мы на самом деле почти на месте. Если теперь мы запустим ту же самую команду во второй раз, pip install -U setuptools
, старая версия setuptools будет удалена, а версия 5.5.1 будет установлена. Я не знаю, почему pip не приводит нас прямо к новой версии одним выстрелом, но это то, что происходит, и, надеюсь, это поможет другим увидеть это и знать, что вы не сходите с ума.
sudo apt-get install apache2-dev
решил мою проблему
Имейте в виду, что вам придется делать pip install --upgrade Distribute
, если вы уже установили его, и ваш pip
может быть вызван pip2
для Python2 на некоторых системах (он на моем).
У меня была эта проблема, а также некоторые другие проблемы с Brewed Python на OS & nbsp; X v10.9 (Mavericks).
sudo pip install --upgrade setuptools
не работал для я, и я думаю, что моя setuptools / дистрибутив setup был взломан.
Я, наконец, получил его для работы, запустив
sudo easy_install -U setuptools
Для меня обновление pip от 8.1.1 до 9.0.1 решило эту проблему.
Вы можете запустить что-то вроде sudo -H pip2 install --upgrade pip
, чтобы обновить версию вашего пипса.
Эта ошибка может возникнуть при попытке установить pycurl
.
В этом случае вы должны сделать
sudo apt-get install libcurl4-gnutls-dev librtmp-dev
(основанный здесь: https: // gist.github.com/lxneng/1031014)
pip install -U setuptools
и easy_install
помещали информацию о яйцах в неправильный каталог.
Затем я просто переустановил apt-get install python-dev
. Позвольте мне установить драйверы, которые я хочу после этого
Я столкнулся с той же проблемой, и я попробовал все вышеперечисленные ответы. Но, к сожалению, ни одно из вышеизложенного не работало.
В качестве примечания я, наконец, решу это по pip uninstall distribute
.