Мне нужен сценарий, который может сканировать веб-сайт и возвращать список всех просканированных страниц в текстовом или подобном формате; который я отправлю поисковым системам как карту сайта. Могу ли я использовать WGET для создания карты сайта веб-сайта? Или есть сценарий PHP, который может сделать то же самое?