Ваш код работает хорошо
>>> from bs4 import BeautifulSoup
>>> html = requests.get('https://www.rottentomatoes.com/m/the_lord_of_the_rings_the_return_of_the_king').text
>>> soup = BeautifulSoup(html, 'html.parser')
>>> notices = soup.select('#tomato_meter_link > span.mop-ratings-wrap__percentage')
>>> notices
[<span class="mop-ratings-wrap__percentage">93%</span>]
Как вы получили переменную html
?
Javascript требуется интерпретатор Javascript. Если ваш пользовательский агент не понимает определенный вид сценариев, он просто игнорирует его. Чтобы получить минимальный уровень поддержки, попробуйте расширение w3m-js .
Более оптимально:
Преимущества этого:
Masi - - Я бы рекомендовал взглянуть на Conkeror, который в основном является Firefox с сочетаниями клавиш Emacs. Если вы хотите пользовательский интерфейс, управляемый клавиатурой с Javascript, это ваша лучшая ставка:
http://www.saltycrane.com/blog/2008/01/firefox-for-emacs-users/
На главной странице можно использовать makeover, но как только вы загрузите и установите его, вы удивитесь, почему вы никогда не пробовали его раньше ...
(и если вы являетесь пользователем vim, вы можете попробовать vimperator).