У меня есть страница ASPX по адресу https://searchlight.cluen.com/E5/CandidateSearch.aspx с формой на ней, которую я Я хочу представить и проанализировать информацию.
Используя urllib и urllib2 Python, я создал почтовый запрос с правильными заголовками и пользовательским агентом. Но полученный html-ответ не содержит ожидаемой таблицы результатов. Я неправильно понимаю или мне не хватает очевидных деталей?
import urllib
import urllib2
headers = {
'HTTP_USER_AGENT': 'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.0.13) Gecko/2009073022 Firefox/3.0.13',
'HTTP_ACCEPT': 'text/html,application/xhtml+xml,application/xml; q=0.9,*/*; q=0.8',
'Content-Type': 'application/x-www-form-urlencoded'
}
# obtained these values from viewing the source of https://searchlight.cluen.com/E5/CandidateSearch.aspx
viewstate = '/wEPDwULLTE3NTc4MzQwNDIPZBYCAg ... uJRWDs/6Ks1FECco='
eventvalidation = '/wEWjQMC8pat6g4C77jgxg0CzoqI8wgC3uWinQQCwr/ ... oPKYVeb74='
url = 'https://searchlight.cluen.com/E5/CandidateSearch.aspx'
formData = (
('__VIEWSTATE', viewstate),
('__EVENTVALIDATION', eventvalidation),
('__EVENTTARGET',''),
('__EVENTARGUMENT',''),
('textcity',''),
('dropdownlistposition',''),
('dropdownlistdepartment',''),
('dropdownlistorderby',''),
('textsearch',''),
)
# change user agent
from urllib import FancyURLopener
class MyOpener(FancyURLopener):
version = 'Mozilla/5.0 (Windows; U; Windows NT 5.1; it; rv:1.8.1.11) Gecko/20071127 Firefox/2.0.0.11'
myopener = MyOpener()
# encode form data in post-request format
encodedFields = urllib.urlencode(formData)
f = myopener.open(url, encodedFields)
print f.info()
try:
fout = open('tmp.htm', 'w')
except:
print('Could not open output file\n')
fout.writelines(f.readlines())
fout.close()
Есть несколько вопросов по этой теме, которые были полезны (например, , как отправить запрос на страницу .aspx в python ), но я застрял на это и просьба о дополнительной помощи, если это возможно.
Получившаяся html-страница сообщает, что мне может потребоваться войти в систему, но страница aspx отображается в моем браузере без входа в систему.
Вот результаты из info ():
Connection: close Дата: Вт, 7 июня 2011 г., 17:05:26 GMT Сервер: Microsoft-IIS / 6.0 X-Powered-By: ASP.NET X-AspNet-Версия: 2.0.50727 Cache-Control: частный Content-Type: текст / html; charset = utf-8 Content-Length: 1944