Хорошие веб-сайты для тестирования webcrawler на
Я проверяю новый webcrawler, и я ищу некоторые хорошие веб-сайты, которые могли бы сбить его с толку (перенаправления, кадры, что-либо). Кто-либо знает о некоторых действительно сложных сайтах или, которые могли бы сбить его с толку? Спасибо
7
задан Bub Bradlee 2 August 2010 в 18:03
поделиться
1 ответ
Если вы протестируете его на топ-1000 Alexa или около того, вы получите довольно репрезентативную выборку того, что происходит на веб-сайтах. Возможно, у вас не будет возможности протестировать некоторые устаревшие протоколы (например, набор фреймов и т. Д.), Но вы получите довольно хорошее представление о производительности, особенно там, где это важно.
4
ответ дан 7 December 2019 в 14:26
поделиться
Другие вопросы по тегам: