Сценарий Python для проверки существования веб-страницы без загрузки всей страницы?

Я пытаюсь написать сценарий для проверки существования веб-страницы, было бы неплохо, если бы он проверил, не загружая всю страницу .

Это моя отправная точка, я видел несколько примеров, использующих httplib таким же образом, однако каждый проверяемый мной сайт просто возвращает false.

import httplib
from httplib import HTTP
from urlparse import urlparse

def checkUrl(url):
    p = urlparse(url)
    h = HTTP(p[1])
    h.putrequest('HEAD', p[2])
    h.endheaders()
    return h.getreply()[0] == httplib.OK

if __name__=="__main__":
    print checkUrl("http://www.stackoverflow.com") # True
    print checkUrl("http://stackoverflow.com/notarealpage.html") # False

Есть идеи?

Изменить

Кто-то предложил это , но их сообщение было удалено .. позволяет urllib2 не загружать всю страницу?

import urllib2

try:
    urllib2.urlopen(some_url)
    return True
except urllib2.URLError:
    return False
16
задан some1 24 June 2011 в 17:35
поделиться