Какой веб-хост позволяет Вам запустить поисковые роботы на нем?

Question

Какой веб-хост позволяет Вам запустить поисковые роботы на нем?

В Python...

class X( object ):
    def __init__( self ):
        self.attribute
    def getAttr( self ):
        return self.attribute
    def setAttr( self, value ):
        self.attribute= value
    property_name= property( getAttr, setAttr )

свойство А является единственным подобным атрибуту именем, которое обертывает набор метода set, метод get (и средство удаления) функции.

атрибут обычно является отдельным объектом в другом объекте.

Однако однако, Python дает Вам методы как __getattr__, которые позволяют Вам, расширяют определение "атрибута".

Нижняя строка - они почти синонимичны. Python делает техническое различие в том, как они реализованы.

8

c# hosting web-crawler

задан 3 August 2009 в 17:25

6 ответов

Другие вопросы по тегам:

c# hosting web-crawler

Похожие вопросы:

score 6 · Answer 1

Веб-сканер - это имитация обычного пользователя. Он обращается к сайтам, как это делают браузеры, получая html-код (javascript и т. Д.), Возвращаемый с сервера (поэтому нет внутреннего доступа к коду сервера). Таким образом, любой сайт может быть просканирован.

Обратите внимание на некоторые этические правила для поисковых роботов . Есть страницы, которые нельзя индексировать или переходить по ссылкам. А веб-разработчики создают файлы и инструкции для поисковых роботов, в которых говорится, что вы можете индексировать или чему следовать.

score 1 · Answer 2

Если по какой-то причине вы не можете запустить его со своего рабочего стола, вам понадобится хост, который позволит вам выполнять произвольный код C #. Большинство дешевых веб-серверов не делают этого из-за потенциальных последствий для безопасности, поскольку на одном сервере будет работать еще несколько человек.

Это означает, что вам необходимо находиться на сервере, на котором установлена ваша собственная ОС. Либо VPS - виртуальный частный сервер, где виртуализация используется, чтобы предоставить вам вашу собственную ОС, но совместно использовать оборудование, - либо ваш собственный выделенный сервер, на котором у вас есть и оборудование, и программное обеспечение.

Обратите внимание, что если вы работаете на сервере, который каким-либо образом используется совместно, вам необходимо ограничить себя, чтобы не создавать проблем для ваших соседей; Ваша основная проблема будет заключаться в том, чтобы не использовать слишком много ЦП или полосы пропускания. Это н' t просто из вежливости - большинство веб-хостов приостановят ваш хостинг, если вы создаете проблемы в их сети, например, отказывает другим пользователям в использовании ресурсов оборудования, потребляя их все самостоятельно. Обычно вы можете резко увеличить уровень использования, но они отключат вас, если вы будете поддерживать их в течение значительного периода времени.

score 0 · Answer 3

Вам не нужен веб-хостинг для запуска вашего паука. Просто попросите ПК с подключением к Интернету, который может действовать как выделенный сервер, настроить базу данных и запустить поисковый робот оттуда.

score 0 · Answer 4

Вам понадобится VPS (виртуальный частный сервер) или полный выделенный сервер. Сканеры - это не что иное, как приложения, которые «ползают» по Интернету. Хотя вы можете настроить веб-сайт в качестве поискового робота, это непрактично, поскольку для работы поискового робота потребуется доступ к веб-странице. Вам нужно будет прочитать ToS (Условия обслуживания) для хоста, чтобы узнать, каковы условия использования. Некоторые хосты с более низкими ценами будут отключать ваше соединение по причине «негативного воздействия на сеть», если вы попытаетесь использовать большую полосу пропускания, даже если они предоставили вам много возможностей для использования.

VPS стоят около 30-80 долларов за Linux. сервер и более 60 долларов за сервер Windows. Выделенные услуги стоят более 100 долларов как для серверов Linux, так и Windows.

score 1 · Answer 5

Похоже, это не имеет ничего общего с веб-хостингом . Вам просто нужна машина с подключением к Интернету и сервер базы данных.

Я бы посоветовался с вашим университетом на вашем месте. По крайней мере, в мое время, когда дело доходило до дипломных проектов, многое можно было организовать собственными силами.

В противном случае вы могли бы изучить простую учетную запись VPS ( Virtual Private Server ). Если вы не уверены, что ваше приложение работает под Mono , вам понадобится Windows. Ограничения ресурсов обычно намного ниже, чем у выделенного сервера, но они относительно доступны. Некоторые предлагают базу данных MS SQL Server, которую вы можете использовать рядом с учетной записью VPS (на другом компьютере). Установка SQL Server на сам VPS может вызвать проблемы с лицензией.

Обязательно ознакомьтесь с условиями использования перед открытием учетной записи, а также со спецификациями (виртуальной) системы. Также проверьте, есть ли какой-то минимальный срок контракта. Иногда это может длиться дольше одного месяца, особенно если нет платы за установку.

Если это вообще возможно, найдите хост, который географически близок к вам. Удаленный доступ к серверу на другом конце света с помощью удаленного рабочего стола может немного раздражать.

score 1 · Answer 6

80legs позволяет вам использовать их сканеры для обработки миллионов веб-страниц с помощью вашей собственной программы.

Ставки следующие:

2,00 доллара за миллион страниц
0,03 доллара за процессор-час

Они утверждают, что сканирование 2 миллиардов веб-страниц в день.