Анализ экранных данных от веб-страницы с большим количеством [закрытого] JavaScript

Это означает, что все операции внутри вашей пользовательской функции потерь должны быть дифференцируемыми, поскольку в противном случае процедура оптимизации не может быть выполнена. Для этого вам просто нужно один за другим проверить, какая операция является преступником в вашем коде, и заменить ее дифференцируемым внутренним аналогом Keras или найти какую-то другую альтернативу.

Учитывая предоставленный фрагмент кода, может быть несколько возможных предложений, чтобы он работал:

  • цикл for должен быть векторизован
  • , так как вы используете max (0,. ..) чтобы получить область пересечения, может случиться так, что она постоянна 0 и градиент недоступен, поэтому проверьте, не застрял ли он там
  • для вычисления среднего значения есть готовые керары Бэкэнд-функция K.mean
  • Хорошая практика - связывать значения для улучшения оптимизации (например, до диапазона (0,1))

Надеюсь, это поможет

17
задан Bill the Lizard 11 August 2009 в 23:02
поделиться

6 ответов

You may consider using HTMLunit It's a java class library made to automate browsing without having to control a browser, and it integrates the Mozilla Rhino Javascript engine to process javascript on the pages it loads. There's also a JRuby wrapper for that, named Celerity. Its javascript support is not really perfect right now, but if your pages don't use many hacks things should work fine the performance should be way better than controlling a browser. Furthermore, you don't have to worry about cookies being persisted after your scraping is over and all the other nasty things connected to controlling a browser (history, autocomplete, temp files etc).

8
ответ дан 30 November 2019 в 13:34
поделиться

Поскольку вы говорите, что AJAX не используется, вся информация присутствует в источнике HTML. Javascript просто отображает его на основе щелчков пользователя. Поэтому вам нужно перепроектировать способ работы приложения, проанализировать код HTML и javascript и извлечь полезную информацию. Это строго анализ текста - вам не нужно заниматься запуском javascript и созданием новой модели DOM. Это было бы намного сложнее.

Если бы использовался AJAX, ваша работа была бы проще. Вы можете легко узнать, как работают службы AJAX (возможно, получая JSON и XML), и извлечь информацию.

5
ответ дан 30 November 2019 в 13:34
поделиться

You could consider using a greasemonkey JS. greasemonkey is a very powerful Firefox add on that allows you to run your own script alongside that of specific web sites. This allows you to modify how the web site is displayed, add or remove content. You can even use it to do AJAX style lookups and add dynamic content.

If your tool is for in house use, and users are all happy to use Firefox then this could be a winner.

Regards

4
ответ дан 30 November 2019 в 13:34
поделиться

I agree with kgiannakakis' answer. I'd be suprised if you couldn't reverse engineer the javascript to identify where the information comes from and then write some simple Python scripts using Urllib2 and the Beautiful Soup library to scrape the same information.

If Python and scraping are a new idea, there's some excellent tutorials available on how to get going.

[Edit] Looks like there's a Python version of mechanize too. Time to re-write some scrapers I developed a while back! :-)

1
ответ дан 30 November 2019 в 13:34
поделиться

I'd go with Perl's Win32::IE::Mechanize which lets you automate Internet Explorer. You should be able to click on icons and extract text while letting MSIE do the annoying tasks of processing all the JS.

1
ответ дан 30 November 2019 в 13:34
поделиться

Я предлагаю веб-скрепер IRobotSoft. Это специализированное бесплатное программное обеспечение для скрейпинга экрана с лучшей поддержкой javascript. Вы можете создать и протестировать робота с помощью его визуального интерфейса. Вы также можете встроить его в свое собственное приложение, используя его элемент управления ActiveX, и скрыть окно браузера.

2
ответ дан 30 November 2019 в 13:34
поделиться
Другие вопросы по тегам:

Похожие вопросы: