Сценарий Sed для редактирования файла CSV Или Python

Чтобы ответить на ваш первый вопрос, sed будет иметь меньше накладных расходов, но может быть болезненным. awk было бы немного лучше (он более мощный). Perl или Python имеют больше накладных расходов, но с ними легче работать (что касается Perl, это, возможно, немного субъективно;). Лично я бы использовал Perl).

Что касается второго вопроса, я думаю, что проблема может быть немного сложнее. Например, разве вам не нужно исследовать строку, чтобы выяснить, какие поля на самом деле отсутствуют? Или гарантировано, что всегда будет 4-й и 5-й? Если это первый случай, было бы способом проще сделать это в Python или Perl, чем в sed . В противном случае:

echo "1,23,56,we,89,2009-12-06" | sed -e 's/\([^,]\+\),\([^,]\+\),\([^,]\+\),\([^,]\+\),\([^,]\+\),/\1,\2,\3,\4,,\5,,/'

или (проще для глаз):

echo "1,23,56,we,89,2009-12-06" | sed -e 's/\(\([^,]\+,\)\{3\}\)\([^,]\+\),\([^,]\+\),/\1,\3,,\4,,/'

Это добавит запятую после 5-го и 4-го столбцов, если в тексте нет других запятых.

Или вы можете использовать два sed для чего-то менее уродливого (хотя и немного):

echo "1,23,56,we,89,2009-12-06" | sed -e 's/\(\([^,]*,\)\{4\}\)/\1,/' | sed -e 's/\(\([^,]*,\)\{6\}\)/\1,/'

@OP, вы обрабатываете CSV-файл с отдельными полями и разделителями. Используйте инструмент, который может разделять разделители и предоставлять поля для удобной работы. sed не является одним из них, хотя это можно сделать, как предлагали некоторые из ответов, но вы получите регулярное выражение sed, которое трудно читать, когда оно усложняется. Используйте такие инструменты, как awk / Python / Perl, где они легко работают с полями и разделителями, лучше всего, доступны модули, специально предназначенные для обработки csv. Для вашего примера простой подход Python (без использования модуля csv, который в идеале вы должны попробовать его использовать)

for line in open("file"):
    line=line.rstrip() #strip new lines
    sline=line.split(",")
    if len(sline) < 8: # you want exact 8 fields
        sline.insert(4,"")
        sline.insert(6,"")
        line=','.join(sline)
    print line

output

$ more file
1,23,56,we,89,2009-12-06

$ ./python.py
1,23,56,we,,89,,2009-12-06

sed 's/^([^,]*,){4}/&,/' <original.csv >output.csv

Добавляет запятую после 4-го поля, разделенного запятой (путем сопоставления 4 повторений , , а затем добавления запятой после этого). Обратите внимание, что здесь есть загвоздка; убедитесь, что ни одно из этих значений не является строкой в ​​кавычках с запятыми.

Вы можете связать несколько замен через каналы, если это необходимо, или изменить регулярное выражение, чтобы добавить любые необходимые запятые одновременно (хотя это становится более сложным; вам нужно будет использовать захват подгрупп в вашем тексте замены).

Не знаю относительно скорости, но вот выражение sed, которое должен выполнить свою работу:

sed -i 's/\(\([^,]*,\)\{4\}\)/\1,/' file_name

Просто замените 4 желаемым количеством столбцов

В зависимости от ваших требований, рассмотрите возможность использования ETL программного обеспечения для этой и будущих задач. Такие инструменты, как Pentaho и Talend, предлагают большую гибкость, и вам не придется писать ни строчки кода.