Почему wget загружает index.html только для некоторых веб-сайтов?

Я пытаюсь использовать команду wget:

wget -p http://www.example.com 

для получения всех файлов на главной странице. Для некоторых веб-сайтов это работает, но в большинстве случаев загружается только index.html. Я пробовал команду wget -r, но она не работает. Кто-нибудь знает, как получить все файлы на странице или просто дать мне список файлов и соответствующие URL-адреса на странице?