Python Mechanize не открывает эти сайты

Я работаю с модулем Mechanize в Python. Я столкнулся с 3 различными сайтами, которые не могут быть открыты Mechanize напрямую:

  1. en.wikipedia.org/wiki/Dog (новый пользователь, не может разместить более 2 ссылок T-T )
  2. https://www.google.com/search?num=100&hl=en&site=&q=dog&oq=dog&aq=f&aqi=g10&aql=1&gs_sm=e&gs_upl=618l914l0l1027l3l2l0l0l0l0l173l173l0.1l1l0
  3. http://www.cpsc.gov/cpscpub/prerel/prhtml03/03059.html

    import mechanize
    br = mechanize.Browser()
    br.set_handle_robots(False)
    

Добавление следующего кода позволяет mechanize открыть и разобрать статью wikipedia и результаты поиска google:

    br.addheaders = [('User-agent', 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.1) Gecko/2008071615 Fedora/3.0.1-1.fc9 Firefox/3.0.1')] 

Но мои обходные пути не подходят для сайта CPSC.gov - когда я пытаюсь открыть его с помощью mechanize Browser, мой python замирает - до такой степени, что я даже не могу прервать его по клавиатуре.

Что здесь происходит?

7
задан Michael Hart 16 December 2011 в 01:34
поделиться