Я пытаюсь очистить http://www.nscb.gov.ph/ggi/database.asp , особенно все таблицы, которые вы получаете при выборе муниципалитетов / провинций. Я использую python с lxml.html и механизирую. мой скребок пока работает нормально, однако я получаю Ошибка HTTP 500: Внутренняя ошибка сервера
при отправке муниципалитета [19] «Peñarrubia, Abra». Я подозреваю, что это связано с кодировкой символов. Я предполагаю, что эту проблему вызывает символ ene (n с тильдой выше). Как я могу это исправить?
Рабочий пример этой части моего скрипта показан ниже. Так как я только начинаю работать с python (и часто использую фрагменты, которые нахожу на SO), любые дальнейшие комментарии приветствуются.
from BeautifulSoup import BeautifulSoup
import mechanize
import lxml.html
import csv
class PrettifyHandler(mechanize.BaseHandler):
def http_response(self, request, response):
if not hasattr(response, "seek"):
response = mechanize.response_seek_wrapper(response)
# only use BeautifulSoup if response is html
if response.info().dict.has_key('content-type') and ('html' in response.info().dict['content-type']):
soup = BeautifulSoup(response.get_data())
response.set_data(soup.prettify())
return response
site = "http://www.nscb.gov.ph/ggi/database.asp"
output_mun = csv.writer(open(r'output-municipalities.csv','wb'))
output_prov = csv.writer(open(r'output-provinces.csv','wb'))
br = mechanize.Browser()
br.add_handler(PrettifyHandler())
# gets municipality stats
response = br.open(site)
br.select_form(name="form2")
muns = br.find_control("strMunicipality2", type="select").items
# municipality #19 is not working, those before do
for pos, item in enumerate(muns[19:]):
br.select_form(name="form2")
br["strMunicipality2"] = [item.name]
print pos, item.name
response = br.submit(id="button2", type="submit")
html = response.read()
root = lxml.html.fromstring(html)
table = root.xpath('//table')[1]
data = [
[td.text_content().strip() for td in row.findall("td")]
for row in table.findall("tr")
]
print data, "\n"
for row in data[2:]:
if row:
row.append(item.name)
output_mun.writerow([s.encode('utf8') if type(s) is unicode else s for s in row])
response = br.open(site) #go back button not working
# provinces follow here
Большое спасибо!
edit: чтобы быть конкретным, ошибка возникает в этой строке
response = br.submit(id="button2", type="submit")