Вопросы Теги

Найдите в Google и щелкните ссылку на конкретный веб-сайт [дубликат]

Многие объяснения уже присутствуют, чтобы объяснить, как это происходит и как это исправить, но вы также должны следовать рекомендациям, чтобы избежать NullPointerException вообще.

См. также: A хороший список лучших практик

Я бы добавил, очень важно, хорошо использовать модификатор final. Использование "окончательной" модификатор, когда это применимо в Java

Сводка:

  1. Используйте модификатор final для обеспечения хорошей инициализации.
  2. Избегайте возврата null в методы, например, при возврате пустых коллекций.
  3. Использовать аннотации @NotNull и @Nullable
  4. Быстрое завершение работы и использование утверждений, чтобы избежать распространения нулевых объектов через все приложение, когда они не должен быть пустым.
  5. Сначала используйте значения с известным объектом: if("knownObject".equals(unknownObject)
  6. Предпочитают valueOf() поверх toString ().
  7. Используйте null safe StringUtils StringUtils.isEmpty(null).

282
задан i alarmed alien 21 October 2014 в 23:30
поделиться

11 ответов

Вы можете просто отправить их через браузер, а затем проанализировать html, это то, что я всегда делал, даже для таких вещей, как Youtube.

26
ответ дан Zimm3r 18 August 2018 в 05:09
поделиться
  • 1
    мне говорят, что условия использования googles запрещают паук ... – Steven A. Lowe 21 November 2010 в 06:06
  • 2
    Из TOS : «Вы специально соглашаетесь не получать доступ (или пытаться получить доступ) к любым из Сервисов с помощью любых автоматических средств (включая использование скриптов или веб-сканеров) ... & quot; – ændrük 6 March 2011 в 18:53
  • 3
    «Нарушать условия предоставления услуг у поставщика услуг». никогда не является хорошим советом. Разбор веб-страниц - это что-то, что прерывается с одного дня на следующий без предупреждения, это ужасный совет - вот почему он был меньше, чем его поддержали. – WhyNotHugo 27 December 2012 в 18:35
  • 4
    Да, это нарушает условия обслуживания, но лично я бы не беспокоился об этом. Google может справиться с небольшим количеством выскабливаний, ведь они сделали удачу, соскабливая сайты других народов. – jimbo2087 13 February 2013 в 02:29
  • 5
    Приходите на людей. Не будь таким наивным. Google не может заставить это ToS сесть. Чтобы нарушить ToS, вы должны сначала согласиться с ним (в письменной форме или нажав кнопку «Да, я принимаю условия»). Подумайте над этим: я поставил ToS на моей веб-странице, чтобы каждый человек, посетивший эту страницу, дал мне 10000 долларов. Могу ли я навязывать это ToS своим посетителям? Будет ли это иметь меня немедленно. – Rigel 26 November 2013 в 00:13

Да, теперь пользовательский поиск Google заменил старый API поиска, но вы можете по-прежнему использовать Google Custom Search для поиска по всему веб-сайту, хотя этапы не очевидны в настройках пользовательского поиска.

Чтобы создать поисковую систему Google, которая просматривает всю сеть:

  1. На домашней странице Google Custom Search ( http://www.google.com/cse / ), нажмите «Создать систему пользовательского поиска».
  2. Введите имя и описание для вашей поисковой системы.
  3. В разделе «Определение вашей поисковой системы» в поле «Сайты для поиска» , введите хотя бы один действительный URL-адрес (на данный момент просто поместите www.anyurl.com, чтобы пройти мимо этого экрана. Подробнее об этом позже).
  4. Выберите версию CSE, которую вы хотите, и соглашаетесь с Условиями обслуживания, затем нажмите «Далее». Выберите нужный вариант макета и нажмите «Далее».
  5. Нажмите любую из ссылок в разделе «Следующие шаги», чтобы перейти на панель управления.
  6. В левом меню, в разделе «Панель управления» нажмите «Основные».
  7. В разделе «Настройки поиска» выберите «Поиск по всему веб-сайту», но выделите включенные сайты.
  8. Нажмите «Сохранить изменения».
  9. В левое меню, в разделе «Панель управления», щелкните «Узлы».
  10. Удалите сайт, который вы ввели во время начального процесса установки.

Теперь ваш пользовательский механизм поиска будет искать все web.

Ценообразование

  • Пользовательский поиск Google дает вам 100 запросов в день бесплатно.
  • После этого вы платите $ 5 за 1000 запросов.
  • Максимально 10 000 запросов в день.

Источник: https://developers.google.com/custom-search/json-api/v1/overview#Pricing

  • Качество поиска намного ниже обычного поиска Google (нет синонимов, «интеллект» и т. д.)
  • Кажется, что Google даже планирует полностью закрыть эту службу.
416
ответ дан Bangkokian 18 August 2018 в 05:09
поделиться
  • 1
    Спасибо за это. Надеюсь, это действительная процедура, а не лазейка, ожидающая подключения Google! – Ash 7 July 2012 в 15:02
  • 2
    Спасибо! Возможно, это единственный ответ в Интернете, который затронул мой вопрос. Поразительно, почему Google прекратит прямую поддержку API для своей основной службы. – spamguy 24 January 2013 в 06:16
  • 3
    но как использовать его с json? – nawara 19 April 2013 в 20:32
  • 4
    ПРЕДУПРЕЖДЕНИЕ: мы делали разработку с использованием бесплатной версии, но для обновления до платной версии (для выполнения более 100 запросов) Google заставляет вас отключать «поиск по всему веб-сайту, но подчеркивать включенные сайты», – Bryan Larsen 11 August 2015 в 14:50
  • 5
    «1 апреля 2017 года Google прекратит продажу Google Site Search. Все новые покупки и продления должны быть проведены до этой даты. Продукт будет полностью закрыт до 1 апреля 2018 года. – Gajus 7 March 2017 в 16:52

В верхней части docs есть заметка:

Примечание. API веб-поиска Google официально устарел с 1 ноября 2010 года. Он будет продолжен для работы согласно нашей политике устаревания , но количество запросов, которые вы можете сделать в день, будет ограничено. Поэтому мы рекомендуем перейти к новому API пользовательского поиска .

В политике устаревания указано, что они будут продолжать запускать API в течение 3 лет. Поэтому, если у вас уже есть приложение, использующее старый API, вам не нужно спешить с тем, чтобы что-то менять. Если вы пишете новое приложение, используйте API пользовательского поиска . См. Мой ответ здесь о том, как это сделать в Python, но идея одинакова для любого языка.

46
ответ дан Community 18 August 2018 в 05:09
поделиться
  • 1
    И это не бесплатно .... «5 долларов за 1000 запросов» ... очень не бесплатно! – UpTheCreek 23 June 2012 в 19:34
  • 2
    Этот ответ теперь устарел, так как прошло три года и прошло 2014/09/29. – Andrey Akhmetov 23 October 2014 в 00:42
  • 3
    CustomeSearchAPI не на всех сайтах - это для пользовательских веб-сайтов – Dejell 11 February 2015 в 20:06
  • 4
    Bing Search API версии 5 теперь позволяет выполнять до 1000 транзакций в месяц во всех API-интерфейсах Bing Search (Web, Images, Video, News Search) - microsoft.com/cognitive-services/en-us/pricing . Я собрал несколько образцов - mvark.blogspot.in/2016/06/… – mvark 21 June 2016 в 04:42
  • 5
    wholeweb.com прекратил обслуживание, как показано здесь wholeweb.com/services – Wessam El Mahdy 24 July 2016 в 16:42
  • 6
    15 декабря 2016 г. Bing Web Search API будет перемещаться под когнитивными сервисами Azure Marketplace ( azure.microsoft.com/en-us/services/cognitive-services/search ), для которых требуется телефон + кредит подтверждение карты для подписки (даже бесплатной). – gilad mayani 8 November 2016 в 11:33
  • 7
    Из Bing API: «DataMarket и Data Services удаляются и перестают принимать новые заказы после 12/31/2016. Существующие подписки будут удалены и отменены с 3/31/2017. Если вы хотите продолжить обслуживание, обратитесь к своему провайдеру услуг. & Quot; – Dmitri Zaitsev 19 April 2017 в 13:40
  • 8
    Спасибо за указание на изменение - я обновил ответ соответственно. – Tom 19 April 2017 в 14:24

Существует бесплатный Java-API под названием JFreeWebSearch, который использует уже упомянутый Faroo: http://www.ke.tu-darmstadt.de/resources/jfreewebsearch

4
ответ дан Heiko 18 August 2018 в 05:09
поделиться

Faroo имеет бесплатный API веб-поиска

14
ответ дан Jack 18 August 2018 в 05:09
поделиться
  • 1
    Их результат шва ограничен, но хорошая отправная точка. – afro360 20 October 2014 в 09:02
  • 2
    @Jack, Не слышал об этом раньше. Откуда они получают результаты поиска? – Pacerier 18 September 2015 в 04:24
  • 3
    Возможный прерыватель транзакций для Faroo заключается в том, что ваш ключ API ограничен IP-адресом, который вы указываете при регистрации. – Uncaught Exception 3 November 2015 в 05:40
  • 4
    Эти парни все еще работают? Я запросил ключи API и ничего не услышал. – Paul Whelan 1 February 2017 в 15:23

Gigablast предлагает дешевый API веб-поиска: http://www.gigablast.com/searchfeed.html

0
ответ дан jman 18 August 2018 в 05:09
поделиться

Я только что наткнулся на это из Common Crawl.

http://www.commoncrawl.org/

Возможно, мы ответим все ищут !!

6
ответ дан Sean Adkinson 18 August 2018 в 05:09
поделиться
  • 1
    Он имеет ограниченный индекс, обновляемый раз в год. И это, наконец, довольно дорого, поскольку вам нужно подключиться к Amazon S3. – Guillaume Lebourgeois 23 October 2013 в 12:25
  • 2
    @GuillaumeLebourgeois, дорогая? Я не думаю, что это правда. Это некоммерческая организация. Все 102 ТБ данных бесплатны для скачивания. – Pacerier 23 August 2016 в 19:01
  • 3
    Стоимость подключения к AWS, где вы можете получить доступ к этому. Если вы студент, вы имеете право на их свободный уровень, но все равно могут быть расходы на перевод и т. Д .; и если вы не находитесь на свободном уровне, есть текущие расходы. – tripleee 16 May 2018 в 09:07

Вы можете создать «везде» систему пользовательского поиска прямо с главной страницы Google Search Search ( http://www.google.com/cse/ ). Вы должны просто нажать «продвинутый», добавляя новый движок. Там вы можете указать тип сайта Schema.org. ' Thing ' является наиболее общим типом, который охватывает всю сеть.

1
ответ дан testlnord 18 August 2018 в 05:09
поделиться

Ниже приведена опция в нижней части панели управления пользовательского поиска: «Сайты для поиска», вы можете выбрать «Поиск по всему веб-сайту, но подчеркнуть включенные сайты»

Custom Search Control Panel - Sites to search [/g0]

26
ответ дан Yishu Fang 18 August 2018 в 05:09
поделиться
46
ответ дан Community 6 September 2018 в 19:27
поделиться
47
ответ дан Community 30 October 2018 в 00:58
поделиться
Другие вопросы по тегам:

Похожие вопросы: