Как разбить очень большой каталог, потенциально содержащий миллионы файлов, на меньшие каталоги с некоторым заданным пользователем максимальным количеством файлов, например, 100 на каталог, в UNIX?
Бонусные баллы, если вы знаете, как wget
загружать файлы в эти подкаталоги автоматически. Таким образом, если в пути верхнего уровня www.example.com
находится 1 миллион страниц .html
, например
/1.html
/2.html
...
/1000000.html
, и нам нужно только 100 файлов в каталоге, будет загрузите их в папки что-то вроде
./www.example.com/1-100/1.html
...
./www.example.com/999901-1000000/1000000.html
Только действительно нужно иметь возможность запускать команду UNIX в папке после того, как wget
загрузит файлы, но если это возможно сделать с помощью wget
как это загружается, я хотел бы знать!