Лучшие практики для Python UnicodeDecodeError

Я использую Pylons framework, Mako шаблон для веб-приложения. Я не особо беспокоился о том, как Python обрабатывает строки Unicode. У меня был напряженный момент, когда я увидел, что мой сайт вылетает при рендеринге страницы, и позже я узнал, что это связано с UnicodeDecodeError .

Увидев ошибку, я начал сетку вокруг своего кода Python добавление вызовов кодирования, декодирования для строки с опцией «игнорировать», но все же я не мог видеть, что ошибки исчезли когда-то.

Наконец, я использовал декодирование в ascii с игнорированием и заставил сайт работать без сбоев.

Вход на мой сайт поступает через многие сайты. Это означает, что я не контролирую языки или язык по своему выбору. Мой сайт поддерживает международные языки, а также английский. У меня есть агрегация каналов, которая обычно не беспокоит unicode / ascii / utf-8. Пока я показываю текст через шаблон мако, я показываю как есть.

Я не являюсь веб-экспертом, как лучше всего обрабатывать строки в проекте Python? Должен ли я заботиться только о визуализации текста или на всех этапах работы приложения?