Python для вывода списка HTTP-файлов и каталогов

Как я могу составить список файлов и папок, если у меня есть только IP-адрес?

С помощью urllib и других я могу отображать только содержимое файла index.html. Но что, если я хочу посмотреть, какие файлы также находятся в корне?

Я ищу пример, который показывает, как реализовать имя пользователя и пароль, если это необходимо. (Большую часть времени index.html является общедоступным, но иногда другие файлы не являются общедоступными).