Вопросы Теги

сбои feedparser во время запущенного скрипта, но не могут воспроизвести в интерактивной консоли Python

Это перестало работать с этим, когда я выполняю затмение или когда я запускаю свой скрипт в iPython:

'ascii' codec can't decode byte 0xe2 in position 32: ordinal not in range(128)

Я не знаю, почему, но когда я просто выполняю feedparse.parse (URL) оператор с помощью того же URL, нет никакой брошенной ошибки. Это озадачивает меня достижение.

Код так же прост как:

      try:
           d = feedparser.parse(url)
      except Exception, e:
           logging.error('Error while retrieving feed.')
           logging.error(e)
           logging.error(formatExceptionInfo(None))
           logging.error(formatExceptionInfo1())

Вот отслеживание стека:

d = feedparser.parse(url)


 File "C:\Python26\lib\site-packages\feedparser.py", line 2623, in parse
    feedparser.feed(data)
  File "C:\Python26\lib\site-packages\feedparser.py", line 1441, in feed
    sgmllib.SGMLParser.feed(self, data)
  File "C:\Python26\lib\sgmllib.py", line 104, in feed
    self.goahead(0)
  File "C:\Python26\lib\sgmllib.py", line 143, in goahead
    k = self.parse_endtag(i)
  File "C:\Python26\lib\sgmllib.py", line 320, in parse_endtag
    self.finish_endtag(tag)
  File "C:\Python26\lib\sgmllib.py", line 360, in finish_endtag
    self.unknown_endtag(tag)
  File "C:\Python26\lib\site-packages\feedparser.py", line 476, in unknown_endtag
    method()
  File "C:\Python26\lib\site-packages\feedparser.py", line 1318, in _end_content
    value = self.popContent('content')
  File "C:\Python26\lib\site-packages\feedparser.py", line 700, in popContent
    value = self.pop(tag)
  File "C:\Python26\lib\site-packages\feedparser.py", line 641, in pop
    output = _resolveRelativeURIs(output, self.baseuri, self.encoding)
  File "C:\Python26\lib\site-packages\feedparser.py", line 1594, in _resolveRelativeURIs
    p.feed(htmlSource)
  File "C:\Python26\lib\site-packages\feedparser.py", line 1441, in feed
    sgmllib.SGMLParser.feed(self, data)
  File "C:\Python26\lib\sgmllib.py", line 104, in feed
    self.goahead(0)
  File "C:\Python26\lib\sgmllib.py", line 138, in goahead
    k = self.parse_starttag(i)
  File "C:\Python26\lib\sgmllib.py", line 296, in parse_starttag
    self.finish_starttag(tag, attrs)
  File "C:\Python26\lib\sgmllib.py", line 338, in finish_starttag
    self.unknown_starttag(tag, attrs)
  File "C:\Python26\lib\site-packages\feedparser.py", line 1588, in unknown_starttag
    attrs = [(key, ((tag, key) in self.relative_uris) and self.resolveURI(value) or value) for key, value in attrs]
  File "C:\Python26\lib\site-packages\feedparser.py", line 1584, in resolveURI
    return _urljoin(self.baseuri, uri)
  File "C:\Python26\lib\site-packages\feedparser.py", line 286, in _urljoin
    return urlparse.urljoin(base, uri)
  File "C:\Python26\lib\urlparse.py", line 215, in urljoin
    params, query, fragment))
  File "C:\Python26\lib\urlparse.py", line 184, in urlunparse
    return urlunsplit((scheme, netloc, url, query, fragment))
  File "C:\Python26\lib\urlparse.py", line 192, in urlunsplit
    url = scheme + ':' + url
  File "C:\Python26\lib\encodings\cp1252.py", line 15, in decode
    return codecs.charmap_decode(input,errors,decoding_table)

ЧАСТИЧНО РЕШЕННЫЙ:

Это восстанавливаемо, когда URL, передаваемый feedparser.parse (), является unicode. Это не будет репродукция, когда это будет URL ASCII. И для записи, Вам нужен канал, который имеет некоторый высокий символ unicode символы. Я не уверен, почему это.

1
задан unutbu 18 May 2010 в 16:53
поделиться

2 ответа

Похоже, URL-адрес, по которому у вас возникла проблема, содержит текст с некоторой кодировкой (например, latin-1, где 0xe2 будет «строчная буква a с кружком сверху», также известная как â ]) без правильного заголовка типа содержимого (он должен иметь параметр charset = в Content-Type: , но его нет).

В этом случае feedparser не может угадать кодировку, пытается использовать значение по умолчанию ( ascii ) и терпит неудачу.

эта часть документации feedparser объясняет проблемы более подробно.

К сожалению, не существует «волшебных средств» для решения этой общей проблемы (из-за глупостей, нарушающих правила XML). Вы можете попробовать перехватить это исключение, а в обработчике отдельно прочитать содержимое URL-адреса (используйте urllib2 ) и попытаться декодировать их с помощью различных возможных кодировок - затем, когда вы, наконец, получите таким образом пригодный для использования объект Unicode, подайте , что от до feedparser.parse (чей первый аргумент может быть URL-адресом, файловым потоком, или строкой Unicode с данными).

1
ответ дан 3 September 2019 в 00:29
поделиться

Относительно комментария OP: Попробуйте любой литерал URL, например u'myfeed.blah / xml 'Он должен воспроизвести. 

>>> from pprint import pprint as pp
>>> import feedparser

>>> d = feedparser.parse(u'myfeed.blah/xml')
>>> pp(d)
{'bozo': 1,
 'bozo_exception': SAXParseException('not well-formed (invalid token)',),
 'encoding': 'utf-8',
 'entries': [],
 'feed': {},
 'namespaces': {},
 'version': ''}

>>> d = feedparser.parse(u'http://myfeed.blah/xml')
>>> pp(d)
{'bozo': 1,
 'bozo_exception': URLError(gaierror(11001, 'getaddrinfo failed'),),
 'encoding': 'utf-8',
 'entries': [],
 'feed': {},
 'version': None}

>>> d = feedparser.parse("http://feedparser.org/docs/examples/atom10.xml")
>>> d['bozo']
0
>>> d['feed']['title']
u'Sample Feed'

>>> d = feedparser.parse(u"http://feedparser.org/docs/examples/atom10.xml")
>>> d['bozo']
0
>>> d['feed']['title']
u'Sample Feed'
>>>

Пожалуйста, прекратите возиться; укажите URL-адрес, который действительно вызывает проблему.

1
ответ дан 3 September 2019 в 00:29
поделиться
Другие вопросы по тегам:

Похожие вопросы: