Я работаю с модулем Mechanize в Python. Я столкнулся с 3 различными сайтами, которые не могут быть открыты Mechanize напрямую:
http://www.cpsc.gov/cpscpub/prerel/prhtml03/03059.html
import mechanize
br = mechanize.Browser()
br.set_handle_robots(False)
Добавление следующего кода позволяет mechanize открыть и разобрать статью wikipedia и результаты поиска google:
br.addheaders = [('User-agent', 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.1) Gecko/2008071615 Fedora/3.0.1-1.fc9 Firefox/3.0.1')]
Но мои обходные пути не подходят для сайта CPSC.gov - когда я пытаюсь открыть его с помощью mechanize Browser, мой python замирает - до такой степени, что я даже не могу прервать его по клавиатуре.
Что здесь происходит?