4
ответа
Обнаружение честных поисковых роботов
Я хотел бы обнаружить (на стороне сервера), какие запросы от ботов. Я не забочусь о злонамеренных ботах в этой точке, просто те, которые играют по правилам. Я видел несколько подходов это главным образом...
вопрос задан: 26 January 2013 11:03
4
ответа
Кто-либо открывается, просто растяжимый поисковый робот существует?
Я ищу решение для поискового робота, какая банка является достаточно сформировавшейся и может быть просто расширена. Я интересуюсь следующими функциями... или возможностью расширить поисковый робот для встречи их: частично просто...
вопрос задан: 26 November 2012 13:08
4
ответа
Как поисковые системы перемещения и агрегаторы получают свои исходные данные?
Я бросаю вокруг нескольких идей для поисковых систем перемещения, и я задаюсь вопросом, как эти сайты получают свои исходные данные. Они очищают все содержание от домашних страниц авиакомпании? Это походит на огромное задание...
вопрос задан: 26 June 2012 22:49
4
ответа
Действительно ли возможно программно войти в веб-сайт с C#?
Действительно ли возможно записать программу C#, которая загрузит веб-страницу, передаст параметры веб-формы, чтобы войти в систему, затем нажмет на ссылку и загрузить информацию о странице? Очевидно, я предоставил бы...
вопрос задан: 9 January 2010 04:47
4
ответа
Как проверить миллиарды страниц? [закрытый]
Действительно ли возможно проверить миллиарды страниц на единственном сервере?
вопрос задан: 20 December 2009 10:37
4
ответа
как поисковые роботы обрабатывают JavaScript
Сегодня много содержания в Интернете сгенерировано с помощью JavaScript (конкретно фоновыми вызовами Ajax). Я задавался вопросом, как поисковые роботы как Google обрабатывают их. Они знают о JavaScript? Сделать...
вопрос задан: 23 November 2009 18:35
4
ответа
Как я позволяю Google индексировать требуемые от входа в систему части своего сайта?
Кажется, что Google может индексировать определенные сайты или форумы (я не могу назвать немного бесцеремонно как его месяцы, так как я в последний раз видел один), и когда доступ к Вам запрашивается с запросом зарегистрироваться или войти в систему. Как.
вопрос задан: 5 September 2009 03:42
4
ответа
то, как обнаружить поисковую систему, посещает на моем сайте? как phpBB
Есть ли любой способ обнаружить поисковые системы или поисковые роботы на моем сайте. я видел в phpBB в администраторе, мы видим и позволяем поисковые системы, и также мы видим последнее посещение бота (как Google Bot)...
вопрос задан: 20 July 2009 16:14
4
ответа
Как поисковые роботы отличаются от паука Wget?
Следующее предложение привлекло мое внимание в руководстве Wget wget - пауке - HTML силы-i bookmarks.html, Этой функции нужно намного больше работы для Wget для нахождения рядом с функциональностью реальных поисковых роботов. Я...
вопрос задан: 10 May 2009 04:54
3
ответа
solr делает веб-сканирование?
Мне интересно делать веб-сканирование. Я смотрел на solr. solr делает веб-сканирование, или что шаги должны сделать веб-сканирование?
вопрос задан: 24 November 2016 15:44
3
ответа
Поисковый робот, который может интерпретировать [закрытый] JavaScript
Я хочу записать поисковый робот, который может интерпретировать JavaScript. В основном это - программа в Java или PHP, который берет URL в качестве входа и производит дерево DOM, которое подобно выводу в Firebug HTML...
вопрос задан: 26 July 2016 12:38
3
ответа
Как проверить Facebook на основе информации о дружбе?
Я - аспирант, исследование которого является сложной сетью. Я работаю над проектом, который включает соединения анализа между пользователями Facebook. Действительно ли возможно записать поисковый робот для Facebook на основе...
вопрос задан: 26 May 2016 10:29
3
ответа
Какие методы можно использовать для обнаружения так называемых «черных дыр» (ловушки для пауков) при создании веб-сканера?
При создании веб-краулера вы должны разработать некую систему, которая собирает ссылки и добавляет их в очередь. Некоторые, если не большинство, из этих ссылок будут динамическими, которые кажутся разными, но действительно ...
вопрос задан: 14 April 2014 18:51
3
ответа
Действительно ли возможно разработать мощное использование поисковой системы Erlang, Mnesia & Yaws?
Я думаю о разработке использования поисковой системы Erlang, Mnesia & Yaws. Действительно ли возможно сделать мощное и самую быструю поисковую систему с помощью них программное обеспечение? Что это должно будет...
вопрос задан: 13 February 2012 22:02
3
ответа
Что является оптимальной продолжительностью для поискового робота для ожидания между повторными запросами к веб-серверу
Есть ли некоторая стандартная продолжительность времени, что поисковый робот должен ожидать между повторными хитами к тому же серверу, чтобы не перегрузить сервер. В противном случае любые предложения на том, что может быть хорошим ожиданием...
вопрос задан: 26 January 2012 07:32
3
ответа
Как агрегатор создается? [закрытый]
Скажем, я хочу агрегироваться, информация, связанная с определенной нишей из многих источников (могло быть перемещение, технология, или безотносительно). Как я сделал бы это? Имейте паука/поисковый робот, который проверит сеть...
вопрос задан: 23 August 2010 09:36
3
ответа
Параллельные загрузки - Python
план - это: Я загружаю веб-страницу, собираю список изображений, проанализированных в DOM, и затем загружаю их. После этого я выполнил бы итерации через изображения для оценки, какое изображение является лучшим...
вопрос задан: 2 June 2010 23:22
3
ответа
Используя одного паука Scrapy для нескольких веб-сайтов
Я должен создать пользователя настраиваемый поисковый робот / поисковый робот, и я думаю об использовании Scrapy. Но, я не могу твердый код домены и позволенный URL regex:es - это будет вместо этого настраиваться в GUI...
вопрос задан: 7 March 2010 14:18
3
ответа
Используя поисковый робот для сравнения цен
Мне нужна основанная на Java сеть с открытым исходным кодом crwaler, который я могу расширить для сравнения цен? Как я делаю сравнение цен? Есть ли какой-либо открытый исходный код для этого?
вопрос задан: 16 February 2010 00:09
3
ответа
Существует ли список известных поисковых роботов? [закрытый]
Я пытаюсь получить точные числа загрузки для некоторых файлов на веб-сервере. Я смотрю на агенты пользователя, и некоторые - ясно боты или поисковые роботы, но многие для многих, я не уверен, они могут или не могут быть...
вопрос задан: 14 November 2009 07:33
3
ответа
Как предоставить доступ поисковых роботов к index.php только, с помощью robots.txt?
Если я захочу только позволить поисковые роботы доступу index.php, то это будет работать? Агент пользователя: * Запретите: / Позвольте:/index.php
вопрос задан: 28 October 2009 14:39
3
ответа
Плагиат Анализатор (сравненный с веб-контентом)
Привет все во всем мире, Фон я - заключительный студент года Информатики. Я предложил, чтобы мой Финал Удвоил Проект Модуля, который является Плагиатом Анализатор, с помощью Java и MySQL...
вопрос задан: 14 October 2009 16:17
3
ответа
.NET Пользовательский Пул потоков с отдельными экземплярами
Какова наиболее рекомендуемая.NET пользовательский пул потоков, который может иметь отдельные экземпляры т.е. больше чем один пул потоков на приложение? Я нуждаюсь в неограниченном размере очереди (создающий поисковый робот) и должен работать...
вопрос задан: 21 July 2009 14:18
3
ответа
Кто-либо знает хороший растяжимый поисковый робот с открытым исходным кодом? [закрытый]
Поисковый робот должен иметь растяжимую архитектуру, чтобы позволить изменять внутренний процесс, как реализация новых шагов (предварительный синтаксический анализатор, синтаксический анализатор, и т.д....) я нашел Проект Heritrix (http://crawler....
вопрос задан: 24 June 2009 17:29
3
ответа
Использование xpath / regex или любого другого, чтобы найти видимый текст на веб-странице с помощью искателя [дубликат]
Используя искателя, я пытаюсь найти страницы на веб-сайте с определенным текстом в них, текст должен быть видимым для пользователей, а не только в исходном коде. У меня есть возможность использовать xpath или regex. Есть ли ...
вопрос задан: 16 March 2009 20:19
3
ответа
robots.txt: запретить все кроме выбора немногие, почему нет? [закрытый]
Я думал некоторое время о запрещении каждого поискового робота кроме, Спрашивают, Google, Microsoft и Yahoo! от моего сайта. Обоснование позади этого состоит в том, что я никогда не видел, что любой трафик сгенерирован любым...
вопрос задан: 13 February 2009 14:01
3
ответа
.NET НЕ имеет надежной связи с сокетом Asynchronouos?
Я однажды записал Поисковый робот в.NET. Для улучшения его масштабируемости я пытался использовать в своих интересах асинхронный API.NET. Система. Сеть. HttpWebRequest имеет асинхронный API BeginGetResponse/...
вопрос задан: 25 October 2008 10:36
2
ответа
Поиск по Ruby в http получить тело ответа на запрос
Я делаю запрос на получение в рубине, как; require 'net / http' require 'uri' uri = URI.parse ("https://www.test.com") request = Net :: HTTP :: Get.new (uri) request.content_type = "...
вопрос задан: 24 March 2019 20:19
2
ответа
найти правильный селектор для нумерации страниц с помощью скрапа
Я пытаюсь извлечь данные из этого форума: https://schwangerschaft.gofeminin.de/forum/. Все данные я получаю с первой страницы. Я использую селектор css li.selected > a :: attr (href) 'К сожалению, я ...
вопрос задан: 18 January 2019 08:42
2
ответа
Направляющие: Как записать в пользовательский файл журнала из задачи граблей в производственном режиме?
Я пытаюсь записать в свои файлы журнала при выполнении задачи граблей. Это хорошо работает в режиме разработки, но как только я переключаюсь на продуктивную среду, ничто не записано в файлы журнала. Я читал...
вопрос задан: 23 May 2017 12:07