Какой должен быть самый быстрый способ загрузки данных в Google Cloud BigQuery?

Вы можете загружать данные:

• Из Google Cloud Storage
• Из других сервисов Google , таких как DoubleClick и Google AdWords
• Из считываемого источника данных (например, ваш локальный компьютер)
• Вставляя отдельные записи с помощью потоковых вставок
• Использование операторов DML для выполнения объемных вставок
• Использование конвейера Google Cloud Data для записи данных в BigQuery
]
• больше форматов в Введение в загрузку данных в BigQuery

Загрузка данных в BigQuery с Google Диска в настоящее время не поддерживается, но вы можете запрашивать данные в Google Привод с использованием внешней таблицы .

Вы можете загружать данные в новую таблицу или раздел, вы можете добавлять данные в существующую таблицу или раздел, или вы можете перезаписать таблицу или раздел , Дополнительные сведения о работе с разделами см. В разделе Управление разделенными таблицами .

Когда вы загружаете данные в BigQuery, вы можете предоставить схему таблицы или раздела или для поддерживаемых форматов данных, может использовать автоматическое обнаружение схемы .

Каждый метод выполняется быстро, если ваши данные велики, вы должны пойти с облачным хранилищем Google.

Когда вы загружаете данные из облачного хранилища Google в BigQuery, ваши данные могут быть в любом из следующих форматов:

• Значения, разделенные запятыми (CSV)
• JSON (с разделителем на новую строку)
• Avro
• Паркет
• ORC (бета)
• Резервные копии хранилища Google Cloud