Использование wget для рекурсивного извлечения каталога с произвольными файлами в нем
Он помогает обернуть встроенный каталог, идущий к функции, которая дает только полные пути к файлам. Затем вы можете просто взять функцию, которая возвращает все файлы, и выбрать тот, который имеет наибольшее время модификации:
import os
def all_files_under(path):
"""Iterates through all files that are under the given path."""
for cur_path, dirnames, filenames in os.walk(path):
for filename in filenames:
yield os.path.join(cur_path, filename)
latest_file = max(all_files_under('root'), key=os.path.getmtime)
4 ответа
Необходимо передать -np / --no-parent опция к wget (в дополнение к -r / --recursive, конечно), иначе она перейдет по ссылке в индексе каталога на моем сайте к родительскому каталогу. Таким образом, команда была бы похожа на это:
wget --recursive --no-parent http://example.com/configs/.vim/
, Чтобы постараться не загружать автоматически сгенерированный index.html файлы, используйте -R / --reject опция:
wget -r -np -R "index.html*" http://example.com/configs/.vim/
wget -r http://mysite.com/configs/.vim/
работы для меня.
, Возможно, у Вас есть .wgetrc, который вмешивается в него?
Необходимо быть в состоянии сделать это просто путем добавления-r
wget -r http://stackoverflow.com/
Следующая опция, кажется, идеальная комбинация при контакте с рекурсивной загрузкой:
wget - без обозначения даты-np-P/dest/dir - рекурсивный http://url/dir1/dir2
Соответствующие отрывки из страниц справочника для удобства:
-nd
--no-directories
Do not create a hierarchy of directories when retrieving recursively. With this option turned on, all files will get saved to the current directory, without clobbering (if a name shows up more than once, the
filenames will get extensions .n).
-np
--no-parent
Do not ever ascend to the parent directory when retrieving recursively. This is a useful option, since it guarantees that only the files below a certain hierarchy will be downloaded.