Как программно определить, существует ли запрашиваемое имя файла на веб-сервере?

Я помогаю кому-то вытащить кучу (десятки тысяч) pdf-файлов с веб-сайта. У нас есть шаблон для имен файлов, но не все файлы будут существовать. Я предполагаю, что грубо просить несуществующий файл, особенно в таком масштабе. Я использую python, и в моих тестах urllib2 я обнаружил, что этот фрагмент получает мне файл, если он существует

s=urllib.urlretrieve('http://website/directory/filename.pdf','c:\\destination.pdf')

Если файл не существует, я получаю файл с именем, которое я назначил, но текст с их страницы 404 . Теперь я могу справиться с этим после того, как закончу (прочитать файлы и удалить все страницы 404), но это не очень приятно для их сервера и не очень питонично.

Я пробовал возиться с просмотром различных функций в urllib и urlretrieve и не вижу ничего, что могло бы сказать мне, существует ли файл.