встраивая пауков в мою собственную программу, я не хочу вызывать scrapy из командной строки)

аналогично этому вопросу: stackoverflow :работающий -несколько -пауков -в -scrapy

Мне интересно, могу ли я запустить весь проект scrapy из другой программы на Python? Скажем так, я хотел создать целую программу, которая требует парсинга нескольких разных сайтов, и я создаю целые проекты парсинга для каждого сайта.

вместо запуска из командной строки в качестве одного из, я хочу запустить этих пауков и получить от них информацию.

Я могу использовать mongoDB в python, и я уже могу создавать проекты scrapy, содержащие пауков, но теперь просто объединяю все это в одно приложение.

Я хочу запустить приложение один раз и иметь возможность управлять несколькими пауками из моей собственной программы

Зачем это делать? ну, это приложение также может подключаться к другим сайтам с помощью API и должно сравнивать результаты с сайта API с очищенным сайтом в режиме реального времени. Я не хочу когда-либо вызывать scrapy из командной строки, все это должно быть автономным.

( В последнее время я задаю много вопросов о парсинге, потому что пытаюсь найти правильное решение для встраивания )

. Спасибо:)