9
ответов

wget По сравнению с urlretrieve Python

У меня есть задача загрузить ГБ данных из веб-сайта. Данные находятся в форме .gz файлов, при этом каждый файл составляет 45 МБ в размере. Простым способом получить файлы является использование "wget-r-np-A URL файлов". Это будет...
вопрос задан: 10 June 2009 10:18
7
ответов

имя файла urllib2

Если я открываю файл с помощью urllib2, как так: remotefile = urllib2.urlopen ('http://example.com/somefile.zip') Является там простым способом получить имя файла другой затем парсинг исходного URL?Править: измененный...
вопрос задан: 11 April 2016 19:32
7
ответов

Как выполнить модульное тестирование модуля, основанного на urllib2?

У меня есть кусок кода, который я не могу понять, как провести модульное тестирование! Модуль извлекает контент из внешних XML-каналов (твиттер, flickr, youtube и т. Д.) С помощью urllib2. Вот некоторый псевдокод для этого: ...
вопрос задан: 16 February 2010 22:02
7
ответов

Python: беспорядок urllib/urllib2/httplib

Я пытаюсь протестировать функциональность веб-приложения путем сценариев последовательности входа в систему в Python, но я испытываю некоторые затруднения. Вот то, что я должен сделать: Сделайте POST с несколькими параметрами и заголовками. Следовать...
вопрос задан: 20 November 2008 14:21
6
ответов

Выберите статью Wikipedia с Python

Я пытаюсь выбрать статью Wikipedia с urllib Python: f = urllib.urlopen ("http://en.wikipedia.org/w/index.php?title=Albert_Einstein&printable=yes") s = f.read () f.close () Однако...
вопрос задан: 16 February 2013 15:48
5
ответов

Python urllib2.urlopen () работает медленно, нужен лучший способ прочитать несколько URL

Как следует из названия, я работаю над сайтом, написанным на python, и он делает несколько обращений к модулю urllib2 для чтения веб-сайтов. Я тогда разбираю их с BeautifulSoup. Поскольку мне приходится читать 5-10 сайтов, ...
вопрос задан: 22 June 2012 08:02
5
ответов

Который является лучшим в Python: urllib2, PycURL или механизируют?

Хорошо, таким образом, я должен загрузить некоторые веб-страницы с помощью Python и сделал быстрое расследование моих опций. Включенный с Python: urllib - кажется мне, что я должен использовать urllib2 вместо этого. urllib не имеет никакого cookie...
вопрос задан: 15 June 2011 15:54
5
ответов

Узнайте, как создавать стили LaTeX? [закрыто]

Как я могу научиться создавать стили LaTeX? Обычный способ создания документа LaTeX - начать с чего-то вроде. \ documentclass [a4paper] {отчет} \ documentclass [a4paper] {статья} \ ...
вопрос задан: 16 August 2010 23:28
5
ответов

Загрузка Python, не предоставляя имя файла

Как я загружаю файл отчетом о выполнении работ с помощью Python, но не предоставляя имя файла. Я попробовал urllib.urlretrieve, но я, кажется, должен предоставить имя файла для загруженного файла для сохранения как....
вопрос задан: 8 May 2010 20:34
5
ответов

Используя urllib2 с прокси SOCKS

Действительно ли возможно выбрать страницы с urllib2 через прокси SOCKS на одном сервере носков на основного новичка? Я видел решение использовать setdefaultproxy метод, но у меня должны быть различные носки в...
вопрос задан: 1 April 2010 13:39
5
ответов

тайм-аут для urllib2.urlopen () в пред версии Python 2.6

В urllib2 документации говорится, что параметр тайм-аута был добавлен в Python 2.6. К сожалению, моя кодовая база работала на платформах Python 2.5 и 2.4. Есть ли любой альтернативный способ моделировать...
вопрос задан: 18 January 2010 08:49
5
ответов

ошибка urlopen 10045, 'уже обращаются используемый' при загрузке в Python 2.5 в Windows

Я - написание кода, которое будет работать на Linux, OS X и Windows. Это загружает список приблизительно 55 000 файлов с сервера, затем ступает через список файлов, проверяя, присутствуют ли файлы...
вопрос задан: 2 October 2009 23:23
5
ответов

Спуфинг IP-адреса происхождения Запроса HTTP

Это только должно работать над единственной подсетью и не для злонамеренного использования. Мне записали инструмент тестирования загрузки в Python, который в основном уничтожает Запросы HTTP в URL. Я должен выполнить тесты производительности...
вопрос задан: 25 July 2009 01:11
5
ответов

Кеширование в urllib2?

Есть ли простой способ кеширования вещей при использовании urllib2, который я просматриваю, или мне нужно свернуть свой собственный?
вопрос задан: 29 September 2008 14:17
4
ответа

Каковы различия между urllib, urllib2 и модулем запросов?

В Python, каковы различия между urllib, urllib2 и модулем запросов? Почему их три? Кажется, они делают то же самое ...
вопрос задан: 6 January 2018 02:34
4
ответа

Загрузка изображения через urllib и Python

Таким образом, я пытаюсь сделать сценарий Python, который загружает webcomics и помещает их в папку на моем рабочем столе. Я нашел несколько подобных программ на здесь, которые делают что-то подобное, но ничто вполне как...
вопрос задан: 28 December 2017 00:43
4
ответа

Как загрузить какую-либо(!) веб-страницу корректным набором символов в Python?

Проблема, Когда анализ экранных данных веб-страница с помощью Python нужно знать кодировку символов страницы. Если Вы понимаете кодировку символов превратно, чем Ваш вывод будет испорчен. Люди обычно используют...
вопрос задан: 4 September 2010 00:33
4
ответа

Python 'urllib2': Почему я получаю ошибку 403 когда я 'urlopen' страница Wikipedia?

У меня есть странная ошибка при попытке к urlopen определенной страницы из Википедии. Это - страница: http://en.wikipedia.org/wiki/OpenCola_ (напиток) Это - сессия оболочки:>>> f = urllib2....
вопрос задан: 26 July 2010 04:53
4
ответа

Рычаг Прогресса Python urllib2

Я пытаюсь создать индикатор выполнения загрузки в Python с помощью клиента urllib2 http. Я просмотрел API (и на Google), и кажется, что urllib2 не позволяет Вам регистрировать прогресс...
вопрос задан: 8 January 2010 15:22
4
ответа

неблокирование чтения/журнала от http потока

У меня есть клиент, который соединяется с потоком HTTP и регистрирует текстовые данные, которые он использует. Я отправляю серверу потоковой передачи HTTP-запрос GET... Ответы сервера и непрерывно публикуют данные... Это...
вопрос задан: 12 October 2009 21:59
4
ответа

Как Вы получаете заголовки по умолчанию в Запросе urllib2?

У меня есть веб-клиент Python, который использует urllib2. Достаточно легко добавить HTTP-заголовки к моим исходящим запросам. Я просто создаю словарь заголовков, я хочу добавить, и передать его Запросу...
вопрос задан: 2 March 2009 20:41
4
ответа

работы urllib.urlopen, но urllib2.urlopen не делает

У меня есть простой веб-сайт, который я тестирую. Это работает на localhost, и я могу получить доступ к нему в своем веб-браузере. Индексная страница является просто словом "выполнение". urllib.urlopen успешно прочитает страницу, но...
вопрос задан: 14 October 2008 14:57
3
ответа

Python и urllib

Я пытаюсь загрузить zip-файл ("tl_2008_01001_edges.zip") с сайта переписи ftp с помощью urllib. Какая форма является zip-файлом в том, когда я получаю его и как я сохраняю его? Я довольно плохо знаком с Python и не делаю...
вопрос задан: 21 May 2013 09:50
3
ответа

Считайте объект файла как строку в Python

Я использую urllib2 для чтения на странице. Я должен сделать быстрый regex на источнике и вытащить несколько переменных, но подарков urllib2 как объект файла, а не строку. Я плохо знаком с Python, таким образом, я...
вопрос задан: 14 December 2012 11:29
3
ответа

Получение НЕДОПУСТИМОГО ответа от Песочницы PayPal IPN

Я пытаюсь реализовать простое системное использование онлайн-платежей PayPal, однако я попробовал все, что я знаю, и все еще получаю НЕДОПУСТИМЫЙ ответ. Я знаю, что это - ничего слишком простого, потому что я добираюсь...
вопрос задан: 10 January 2012 16:57
3
ответа

Python - urllib2.urlopen - Почему я получаю искаженные символы?

Вот моя проблема: импорт ('http://proxy-heaven.blogspot.com/') urllib2 response=urllib2.urlopen html=response.read () печатает HTML, Это - просто этот сайт, и я не знаю, почему результат все искажен...
вопрос задан: 26 July 2010 15:33
3
ответа

Python: Сообщение HTTP большой файл с потоковой передачей

Я загружаю потенциально большие файлы на веб-сервер. В настоящее время я делаю это: urllib2 f импорта = открытый ('somelargefile.zip', 'rb') запрашивают = urllib2. Запрос (URL, f.read ()) запрос add_header ("Содержание-...
вопрос задан: 23 March 2010 18:31
3
ответа

urllib2, не получающий весь ответ HTTP

Я озадачен относительно того, почему я не в состоянии загрузить весь контент некоторых ответов JSON от FriendFeed с помощью urllib2.>>> импортируют urllib2>>> поток = urllib2.urlopen ('http://...
вопрос задан: 1 December 2009 04:51
3
ответа

Python, выбирающий <заголовок>

Я хочу выбрать заголовок веб-страницы, которая я открываю использование urllib2. Что является лучшим способом сделать это, проанализировать HTML и найти то, в чем я нуждаюсь (на данный момент только - тег, но, возможно, нуждался бы в больше в будущем)...
вопрос задан: 2 November 2009 09:48
3
ответа

Я загружаю файл с помощью Python urllib2. Как я проверяю, насколько большой размер файла?

И если это является большим..., тогда останавливают загрузку? Я не хочу загружать файлы, которые больше, чем запрос 12 МБ = urllib2. Запрос (ep_url) запрос add_header ('Агент пользователя', random.choice (агенты)) thefile...
вопрос задан: 28 October 2009 11:19