Веб-сканер Python с базой данных MySQL

Я хочу создать или найти веб-краулер с открытым исходным кодом (паук / бот), написанный на Python. Он должен находить ссылки и переходить по ним, собирать метатеги и метаописания, заголовки веб-страниц и URL-адреса веб-страницы и помещать все данные в базу данных MySQL.

Кто-нибудь знает какие-либо сценарии с открытым исходным кодом, которые могли бы мне помочь ? Кроме того, если кто-нибудь может дать мне несколько советов относительно того, что мне следует делать, мы будем рады видеть их.