Обычный скребок получает только HTML-документ. Чтобы получить какой-либо контент, созданный логикой JavaScript, вам скорее нужен браузер без заголовка , который также будет генерировать DOM, загружать и запускать скрипты, как обычный браузер.
Имейте в виду, выбирая, что некоторые ранее основные продукты из них теперь оставлены.