Это можно сделать. Настройка ... не очень проста, но конечный результат заключается в том, что вы можете искать всю сеть с python с несколькими строками кода.

Всего три основных шага.

1-й шаг: получить ключ API Google

На странице pygoogle указано:

К сожалению, Google больше не поддерживает API SOAP для поиск, а также не предоставляют новые лицензионные ключи. Вкратце, PyGoogle в настоящий момент почти мертв.

Вместо этого вы можете использовать их API AJAX. Взгляните сюда на пример кода: http://dcortesi.com/2008/05/28/google-ajax-search-api-example-python-code/

blockquote >

... но вы также не можете использовать API AJAX. Вам нужно получить ключ API Google. https://developers.google.com/api-client-library/python/guide/aaa_apikeys Для простого экспериментального использования я предлагаю «серверный ключ».

2nd step: setup Custom Search Engine, чтобы вы могли искать всю сеть

. Действительно, старый API недоступен. Лучшим новым API, который доступен, является пользовательский поиск. Кажется, он поддерживает только поиск в определенных доменах, однако после следующих этот SO ответ вы можете выполнить поиск по всей сети:

1. На главной странице Google Search Search ( http://www.google.com/cse/ ), нажмите «Создать систему пользовательского поиска».
2. Введите имя и описание для вашей поисковой системы.
3. В разделе «Определить свою поисковую систему» ​​в поле «Сайты для поиска» введите хотя бы один действительный URL-адрес (на данный момент просто поместите www.anyurl.com, чтобы пройти мимо этого экрана. Подробнее об этом позже).
4. Выберите версию CSE, которую вы хотите, и примите Условия использования, затем нажмите «Далее». Выберите желаемый вариант макета и нажмите «Далее».
5. Нажмите любую из ссылок в разделе «Следующие шаги», чтобы перейти на панель управления.
6. В левом меню, в разделе «Панель управления» нажмите «Основные».
7. В разделе «Настройки поиска» выберите «Поиск по всему веб-сайту», но выделите включенные сайты.
8. Нажмите «Сохранить изменения».
9. В левое меню, в разделе «Панель управления», щелкните «Узлы».
10. Удалите сайт, который вы ввели во время первоначальной установки.

blockquote>

Этот подход также рекомендуется Google: https://support.google.com/customsearch/answer/2631040

Третий шаг: установить клиент Google API для Python

pip install google-api-python-client, более подробная информация здесь:

• repo: https://github.com/google/google-api-python-client
• еще info: https://developers.google.com/api-client-library/python/apis/customsearch/v1
• полные документы: https: // api -python-client-doc.appspot.com/

4-й шаг (бонус): выполните поиск

Итак, после настройки вы можете следовать образцам кода из нескольких мест:

• простой пример: https://github.com/google/google-api-python-client/blob/master/samples/customsearch/main.py
• cse() function docs: https://google-api-client-libraries.appspot.com/documentation/customsearch/v1/python/latest/customsearch_v1.cse.html

и в итоге:

from googleapiclient.discovery import build
import pprint

my_api_key = "Google API key"
my_cse_id = "Custom Search Engine ID"

def google_search(search_term, api_key, cse_id, **kwargs):
    service = build("customsearch", "v1", developerKey=api_key)
    res = service.cse().list(q=search_term, cx=cse_id, **kwargs).execute()
    return res['items']

results = google_search(
    'stackoverflow site:en.wikipedia.org', my_api_key, my_cse_id, num=10)
for result in results:
    pprint.pprint(result)

После некоторой настройки вы можете написать некоторые функции, которые ведут себя точно так же, как ваш фрагмент, но я пропущу этот шаг здесь.