Макроопределения C# в Препроцессоре

Краткий ответ:

Да.

Длинный ответ:

Есть два основных способа добавить больше страниц в очередь сканирования.

Предварительно определенная структура:

Псевдо-URL используются для перехода по ссылкам, которые соответствуют определенной структуре. Веб-сайты обычно используют некоторую структуризацию в URL-адресах, которые они используют. Например:

https://github.com

использует структуру:

https://github.com/{username}/{repository}

Так что, если вы хотите очистить все хранилища для пользователя apifytech, вы можете использовать псевдо-URL, например так:

https://github.com/apifytech/[.+]

Вы можете найти больше информации о псевдо-URL в учебнике для Apify SDK .

Динамическое добавление URL-адресов во время выполнения

Если вам нужно динамически добавлять больше ссылок в очередь сканирования во время выполнения, есть несколько вариантов.

При использовании Apify SDK вы всегда можете использовать либо функцию requestQueue.addRequest() , либо функцию utils.enqueueLinks() .

При использовании Apify Web Scraper вы можете динамически добавлять больше страниц, используя context.enqueueRequest() .