Как получить полный список объектов из общедоступного s3 url

Вы можете использовать интерфейс командной строки AWS [CLI] , чтобы перечислить ведро. Он будет автоматически разбиваться на страницы.

Альтернативный вариант, вы можете использовать AWS SDK на своем любимом языке программирования для вызова S3 и сами сделать разбивку на страницы.

Из AWS SDK они реализовали его как разбиение на страницы. Поэтому вы должны получить весь список, используя ключ разбивки на страницы или который называется маркером. Таким образом, начиная с первого ответа он возвращает маркер, который является следующим индикатором объекта, который должен начинаться с начала. Поэтому предпочтительным способом получения всего списка будет метод разбивки на страницы.