Программный браузер Python с JavaScript
Я хочу к экранному царапанью веб-сайт, который использует JavaScript.
Существует, механизируют, программный веб-браузер для Python. Однако это (понятно) не интерпретирует JavaScript. Есть ли какой-либо программный браузер для Python, который делает? В противном случае есть ли какая-либо реализация JavaScript в Python, который я мог использовать, чтобы попытаться создать тот?
4 ответа
Возможно, вам лучше использовать такой инструмент, как Selenium , чтобы автоматизировать парсинг с помощью веб-браузера, чтобы JS выполнялся, а страница отображалась так же, как и в реальном пользователь.
Пакет PyV8 прекрасно дополняет движок Google V8 Javascript для Python. Это особенно приятно, потому что вы можете не только выполнять вызовы из кода Python в код Javascript, но и выполнять обратный вызов из кода Javascript в код Python. Это значительно упрощает реализацию обычных объектов, предоставляемых браузером (то есть всего в глобальном пространстве имен Javascript: «окно», «документ» и т. Д.), Что вам нужно было бы сделать, если бы вы собирались сделать эмулятор браузера Python с поддержкой Javascript, возможно, подключив его к Mechanize .
You could also try defining Chickenfoot page triggers on the pages in question, executing whatever operations you want on the page and saving the results of the operation to a local file, and calling Firefox from the command line inside your program, followed by reading the file.
я рекомендую вам взглянуть на некоторые из вариантов, доступных вам на http://wiki.python.org/moin/WebBrowserProgramming - удивительно, но этот вопрос встречается часто (сегодня я нашел три на stackoverflow, задав в google поиск по словам "python browser"). если вы сделаете то же самое, вы найдете другие ответы, которые я дал.