Автоматизировать архивирование таблиц красного смещения (которые слишком велики для обработки) в AWS S3 Bucket
Если элемент, к которому вы пытаетесь получить доступ, находится внутри iframe, и вы пытаетесь получить к нему доступ за пределами контекста iframe, это также приведет к сбою.
Если вы хотите получить элемент в iframe, вы можете узнать, как здесь .
2 ответа
Таким образом, я считаю, что решение AWS для решения этой проблемы заключается в использовании конвейеров данных. Это рабочие места, которые можно запланировать, поэтому они очень рентабельны. Я считаю, что это похоже на планирование-извлечение данных из-aws-redshift
Вы должны использовать команду UNLOAD в Amazon Redshift для сохранения данных в Amazon S3.
В Python вы можете использовать библиотеку, такую как psycopg2, для подключения к Redshift, поскольку она ведет себя как база данных PostgreSQL.
Взгляните на Как загрузить данные в Amazon Redshift через Python Boto3? для примера запуска команд Redshift из Python. (Этот ответ показывает команду COPY, но это тот же метод подключения.)
См. Также: Доступ к вашим данным в Amazon Redshift и PostgreSQL с помощью Python и R-Blendo [1112 ]
Вам необходимо выяснить, какие команды нужно выполнить, например:
- Выбор соответствующих данных для выгрузки
- Удаление данных после их выгрузки [ 1116]
Распространенной практикой является размещение данных в месячных таблицах , например, в таблице за январь, другой таблице за февраль и т. Д. Затем используйте CREATE VIEW для создания комбинированного представления этих таблиц с UNION команд. Вид может быть использован как обычная таблица. Позже, когда вы захотите заархивировать некоторые данные, выгрузите самую старую таблицу на S3, удалите ее и обновите представление. Таким образом, вы можете архивировать целый месяц, не удаляя отдельные строки.