django: пытается получить доступ к моему robots.txt: «Ошибка TypeError в /robots.txt объекте str не вызывается»

Являюсь Jython, хотя у вас есть возможности библиотек Java, а не ограничение того, что вы не можете установить несколько библиотек C. python.

Например, вам лучше использовать Jsoup вместо Beautiful soup или пойти на полное решение, например Jtidy .

Используйте Jaxp вместо lxml.

Также другой вариант, который подходит для ваших повторений: NekoHTML