Могу ли я использовать WGET для создания карты сайта по его URL?

Мне нужен сценарий, который может сканировать веб-сайт и возвращать список всех просканированных страниц в текстовом или подобном формате; который я отправлю поисковым системам как карту сайта. Могу ли я использовать WGET для создания карты сайта веб-сайта? Или есть сценарий PHP, который может сделать то же самое?

8
задан Salman A 16 October 2010 в 01:47
поделиться