Связывание >100 тыс. страниц без штрафных санкций за SEO

Я делаю сайт, на котором будут обзоры политик конфиденциальности сотен тысяч других сайтов в Интернете. Его исходное содержание основано на моем просмотре CommonCrawl веб-дампа на 5 миллиардов страниц и анализе всех политик конфиденциальности с помощью сценария для определения определенных характеристик (, например. «Продает вашу личную информацию» ).

Согласно Руководству SEO MOZ для начинающих по поисковой оптимизации:

Поисковые системы, как правило, сканируют только около 100 ссылок на любой данной странице. Это слабое ограничение необходимо для борьбы со спамом и сохранения рейтинги.

Мне было интересно, что было бы умным способом создать сеть навигации, которая не оставила бы ни одной страницы потерянной, но при этом избежала бы штрафа SEO, о котором они говорят.У меня есть несколько идей:

• Создайте алфавитные страницы (или Google Sitemap.xml ), например «Сайты, начинающиеся с Ado *». И это будет ссылка, например, на «Adobe.com». Это или любое другое бессмысленное разделение страниц кажется надуманным, и мне интересно, не понравится ли это Google.
• Использование мета-ключевых слов или описаний для категоризации
• Найдите способ применить более интересные категории, такие как географические или содержательные -на основе. Меня беспокоит то, что я не уверен, как я смогу применить такие категории ко всем сайтам. Я полагаю, что в случае необходимости я мог бы написать еще один классификатор, чтобы попытаться проанализировать содержимое страниц при обходе. Хотя само по себе это звучит как большая работа.
• Используйте проект DMOZ, чтобы классифицировать страницы.

Википедия и StackOverflow, очевидно, очень хорошо решили эту проблему, позволив пользователям категоризировать или пометить все страницы. В моем случае у меня нет такой роскоши, но я хочу найти наилучший доступный вариант.

Суть этого вопроса заключается в том, как Google реагирует на различные структуры навигации. Наказывает ли это тех, кто создает сеть страниц программным/бессмысленным способом? Или все равно, пока все подключено по ссылкам?