Добавить & ldquo; Автоматический прирост Первичный ключ & rdquo; столбец в Postgresql при импорте файла TXT [дубликат]

Как указывали другие ответы, было возможно указать столбцы для копирования в таблицу PG. Однако, без возможности ссылки на имена столбцов в CSV, это имело небольшую полезность, кроме загрузки в таблицу, где столбцы имели другой порядок.

К счастью, начиная с Postgres 9.3, можно копировать столбцы не только из файла или стандартного ввода, но также из команды оболочки с помощью PROGRAM:

PROGRAM

Команда для выполнения. В COPY FROM вход считывается из стандартного вывода команды, а в COPY TO вывод записывается на стандартный ввод команды.

Обратите внимание, что команда вызывается оболочкой, поэтому если вам нужно передать какие-либо аргументы команде оболочки, которая поступает из ненадежного источника, вы должны быть осторожны, чтобы удалить или исключить любые специальные символы, которые могут иметь особое значение для оболочки. По соображениям безопасности лучше всего использовать фиксированную командную строку или, по крайней мере, не пропускать в нее какой-либо пользовательский ввод.

Это был недостающий элемент, который нам нужен для такой долгожданной функции , Например, мы могли бы использовать эту опцию в сочетании с cut (в системе на базе UNIX) для выбора определенных столбцов по порядку:

COPY my_table (x2, x5, x7, x10) FROM PROGRAM 'cut -d "," -f 2,5,7,10 /path/to/file.csv' WITH (FORMAT CSV, HEADER)

Однако cut имеет несколько ограничений при манипулировании CSV: он не может адекватно манипулировать строками с запятыми (или другими разделителями) внутри них и не позволяет выбирать столбцы по имени.

Существует несколько других команд с открытым исходным кодом, которые лучше манипулируют CSV-файлами, такими как csvkit или miller. Вот пример использования miller для выбора столбцов по имени:

COPY my_table (x2, x5, x7, x10) FROM PROGRAM 'mlr --csv lf cut -f x2,x5,x7,x10 /path/to/file.csv' WITH (FORMAT CSV, HEADER)

Вы можете принять предложение Джеймса Брауна дальше и сделать все в одной строке:

файл cat | awk -F ',' '{print $ 2 "," $ 5 "," $ 7 "," $ 10 } '| psql -d db -c "\ copy MyTable из заголовка CSV STDIN"

Если это специальная задача

Создайте временную таблицу со всеми столбцами во входном файле

create temporary table t (x1 integer, ... , x10 text)

Скопируйте из файла в файл:

copy t (x1, ... , x10)
from '/path/to/my_file'
with (format csv)

Теперь вставьте в окончательную таблицу из temp:

insert into my_table (x2, x5, x7, x10)
select x2, x5, x7, x10
from t

И отбросьте его:

drop table t

Если это частая задача

Используйте расширение file_fdw . В качестве суперпользователя:

create extension file_fdw;

create server my_csv foreign data wrapper file_fdw;

create foreign table my_csv (
    x1 integer,
    x2 text,
    x3 text
) server my_csv
options (filename '/tmp/my_csv.csv', format 'csv' )
;

Предоставьте разрешение выбора в таблице пользователю, который его прочитает:

grant select on table my_csv to the_read_user;

Затем, когда необходимо, читайте непосредственно из файла csv, как если бы это было таблица:

insert into my_table (x2)
select x2
from my_csv
where x1 = 2

Просто приехал сюда, чтобы преследовать решение только загрузить подмножество столбцов, но, по-видимому, это невозможно. Итак, используйте awk (или cut), чтобы извлечь нужные столбцы в новый файл new_file:

$ awk '{print $2, $5, $7, $10}' file > new_file

и загрузить new_file. Вы можете напрямую вывести выход на psql:

$ cut -d \  -f 2,5,7,10 file | 
  psql -h host -U user -c "\COPY table(col1,col2,col3,col4) FROM STDIN DELIMITER ' '" database