GoogleBot использует JavaScript и асинхронную выборку метаданных

Если вы просто ищете инструмент для этого, то посмотрите бесплатную версию Bare tail