Читайте в CSV-файле, но игнорируйте некоторые запятые [duplicate]

У меня был случай, когда я случайно начал разворачивать каталог файлов в корне. Он добавил файл .htaccess из моей папки с файлами, который блокирует все php

# If we know how to do it safely, disable the PHP engine entirely.
<IfModule mod_php5.c>
  php_flag engine off
</IfModule>

. Нижняя строка проверяет файл .htaccess на root.

213
задан Jason S 30 October 2014 в 03:24
поделиться

9 ответов

Попробуйте:

public class Main { 
    public static void main(String[] args) {
        String line = "foo,bar,c;qual=\"baz,blurb\",d;junk=\"quux,syzygy\"";
        String[] tokens = line.split(",(?=(?:[^\"]*\"[^\"]*\")*[^\"]*$)", -1);
        for(String t : tokens) {
            System.out.println("> "+t);
        }
    }
}

Вывод:

> foo
> bar
> c;qual="baz,blurb"
> d;junk="quux,syzygy"

Другими словами: разбивается на запятую только в том случае, если эта запятая имеет нуль или четное число кавычки перед ним .

Или немного дружелюбнее для глаз:

public class Main { 
    public static void main(String[] args) {
        String line = "foo,bar,c;qual=\"baz,blurb\",d;junk=\"quux,syzygy\"";

        String otherThanQuote = " [^\"] ";
        String quotedString = String.format(" \" %s* \" ", otherThanQuote);
        String regex = String.format("(?x) "+ // enable comments, ignore white spaces
                ",                         "+ // match a comma
                "(?=                       "+ // start positive look ahead
                "  (?:                     "+ //   start non-capturing group 1
                "    %s*                   "+ //     match 'otherThanQuote' zero or more times
                "    %s                    "+ //     match 'quotedString'
                "  )*                      "+ //   end group 1 and repeat it zero or more times
                "  %s*                     "+ //   match 'otherThanQuote'
                "  $                       "+ // match the end of the string
                ")                         ", // stop positive look ahead
                otherThanQuote, quotedString, otherThanQuote);

        String[] tokens = line.split(regex, -1);
        for(String t : tokens) {
            System.out.println("> "+t);
        }
    }
}

, который производит то же, что и в первом примере.

EDIT

Как упоминалось @MikeFHay в комментариях:

Я предпочитаю использовать Splitter Guava , так как он имеет более низкие значения по умолчанию (см. Обсуждение выше о пустых совпадениях, обрезанных String#split(), поэтому я сделал:

Splitter.on(Pattern.compile(",(?=(?:[^\"]*\"[^\"]*\")*[^\"]*$)"))
382
ответ дан Urban Vagabond 22 August 2018 в 03:16
поделиться
  • 1
    Согласно RFC 4180: Sec 2.6: «Поля, содержащие разрывы строк (CRLF), двойные кавычки и запятые должны быть заключены в двойные кавычки». Раздел 2.7: «Если для приложения полей используются двойные кавычки, то двойная кавычка, появляющаяся внутри поля, должна быть экранирована, предшествуя ей другой двойной кавычкой». Итак, если String line = "equals: =,\"quote: \"\"\",\"comma: ,\"", все, что вам нужно сделать, это удалить лишние символы двойной кавычки. – Paul Hanbury 18 November 2009 в 18:41
  • 2
    @Bart: я считаю, что ваше решение все еще работает, даже со встроенными кавычками – Paul Hanbury 18 November 2009 в 18:43
  • 3
    @Alex, да, запятая соответствует , но пустое совпадение не является результатом. Добавьте -1 к параметру split метода: line.split(regex, -1). См. docs.oracle.com/javase/6/docs/api/java/lang/… – Bart Kiers 23 April 2014 в 15:55
  • 4
    спасибо regex gods – Marcin Deszczynski 30 July 2015 в 14:33
  • 5
    Прекрасно работает! Я предпочитаю использовать разветвитель Guava, поскольку он имеет более низкие значения по умолчанию (см. Обсуждение выше о пустых совпадениях, обрезанных с помощью String # split), поэтому я сделал Splitter.on(Pattern.compile(",(?=([^\"]*\"[^\"]*\")*[^\"]*$)")). – MikeFHay 4 January 2016 в 13:23
  • 6
    – Urban Vagabond 26 November 2016 в 06:30
20
ответ дан Community 22 August 2018 в 03:16
поделиться
  • 1
    Хороший вызов, признающий, что OP анализировал CSV-файл. Для этой задачи чрезвычайно подходит внешняя библиотека. – Stefan Kendall 18 November 2009 в 17:14
  • 2
    ну, это не файл CSV, но спасибо, отличный ответ! – Jason S 18 November 2009 в 17:20
  • 3
    (только одна строка) – Jason S 18 November 2009 в 17:23
  • 4
    Но строка представляет собой строку CSV; вы должны иметь возможность использовать CSV api в этой строке напрямую. – Michael Brewer-Davis 18 November 2009 в 17:29
  • 5
    не обязательно ... мои навыки часто адекватны, но они выигрывают от оттачивания. – Jason S 18 November 2009 в 19:10

Вы находитесь в этой досадной граничной области, где регулярные выражения почти не будут делать (как было указано Бартом, побег из котировок бы усложнил жизнь), и все же полноразмерный парсер кажется излишним.

Если вам скоро понадобится большая сложность, я бы поискал библиотеку парсера. Например, этот [

2
ответ дан djna 22 August 2018 в 03:16
поделиться

Хотя мне нравятся регулярные выражения в целом, для такого рода токенизации, зависящей от состояния, я считаю, что простой синтаксический анализатор (который в этом случае намного проще, чем это может сделать звук), вероятно, является более чистым решением, в частности с относится к ремонтопригодности, например:

String input = "foo,bar,c;qual=\"baz,blurb\",d;junk=\"quux,syzygy\"";
List<String> result = new ArrayList<String>();
int start = 0;
boolean inQuotes = false;
for (int current = 0; current < input.length(); current++) {
    if (input.charAt(current) == '\"') inQuotes = !inQuotes; // toggle state
    boolean atLastChar = (current == input.length() - 1);
    if(atLastChar) result.add(input.substring(start));
    else if (input.charAt(current) == ',' && !inQuotes) {
        result.add(input.substring(start, current));
        start = current + 1;
    }
}

Если вы не заботитесь о сохранении запятых внутри кавычек, вы можете упростить этот подход (без обработки начального индекса, no последнего символа особый случай), заменив запятые в кавычках на что-то еще, а затем разделив запятыми:

String input = "foo,bar,c;qual=\"baz,blurb\",d;junk=\"quux,syzygy\"";
StringBuilder builder = new StringBuilder(input);
boolean inQuotes = false;
for (int currentIndex = 0; currentIndex < builder.length(); currentIndex++) {
    char currentChar = builder.charAt(currentIndex);
    if (currentChar == '\"') inQuotes = !inQuotes; // toggle state
    if (currentChar == ',' && inQuotes) {
        builder.setCharAt(currentIndex, ';'); // or '♡', and replace later
    }
}
List<String> result = Arrays.asList(builder.toString().split(","));
38
ответ дан Fabian Steeg 22 August 2018 в 03:16
поделиться
  • 1
    Благодаря! Это отлично сработало для меня! – Josef Van Zyl 2 August 2013 в 14:30
  • 2
    Котировки должны быть удалены из разборных токенов после анализа строки. – Sudhir N 4 August 2016 в 09:40
  • 3
    Найденный через google, хороший алгоритм bro, простой и легко адаптируемый, согласитесь. stateful stuff должно выполняться через парсер, регулярное выражение - беспорядок. – Rudolf Schmidt 1 June 2017 в 08:12

Я бы сделал что-то вроде этого:

boolean foundQuote = false;

if(charAtIndex(currentStringIndex) == '"')
{
   foundQuote = true;
}

if(foundQuote == true)
{
   //do nothing
}

else 

{
  string[] split = currentString.split(',');  
}
-1
ответ дан Jason Plank 22 August 2018 в 03:16
поделиться

Я был нетерпелив и решил не ждать ответов ... для справки не выглядит так сложно сделать что-то подобное (что работает для моего приложения, мне не нужно беспокоиться об экранированных кавычках, так как материал в кавычках ограничен несколькими ограниченными формами):

final static private Pattern splitSearchPattern = Pattern.compile("[\",]"); 
private List<String> splitByCommasNotInQuotes(String s) {
    if (s == null)
        return Collections.emptyList();

    List<String> list = new ArrayList<String>();
    Matcher m = splitSearchPattern.matcher(s);
    int pos = 0;
    boolean quoteMode = false;
    while (m.find())
    {
        String sep = m.group();
        if ("\"".equals(sep))
        {
            quoteMode = !quoteMode;
        }
        else if (!quoteMode && ",".equals(sep))
        {
            int toPos = m.start(); 
            list.add(s.substring(pos, toPos));
            pos = m.end();
        }
    }
    if (pos < s.length())
        list.add(s.substring(pos));
    return list;
}

(упражнение для читателя: расширение для обработки экранированных кавычек путем поиска обратных косых черт).

2
ответ дан Jason S 22 August 2018 в 03:16
поделиться

Я бы не советовал регулярный запрос от Барта, я нашел решение для синтаксического анализа лучше в этом конкретном случае (как предложил Фабиан). Я пробовал решение regex и собственную реализацию синтаксического анализа. Я обнаружил, что:

  1. Парсинг намного быстрее, чем расщепление с регулярным выражением с обратными ссылками - в 20 раз быстрее для коротких строк, ~ 40 раз быстрее в течение длительного времени strings.
  2. Regex не может найти пустую строку после последней запятой. Это было не в оригинальном вопросе, хотя это было моим требованием.

Мое решение и тест ниже.

String tested = "foo,bar,c;qual=\"baz,blurb\",d;junk=\"quux,syzygy\",";
long start = System.nanoTime();
String[] tokens = tested.split(",(?=([^\"]*\"[^\"]*\")*[^\"]*$)");
long timeWithSplitting = System.nanoTime() - start;

start = System.nanoTime(); 
List<String> tokensList = new ArrayList<String>();
boolean inQuotes = false;
StringBuilder b = new StringBuilder();
for (char c : tested.toCharArray()) {
    switch (c) {
    case ',':
        if (inQuotes) {
            b.append(c);
        } else {
            tokensList.add(b.toString());
            b = new StringBuilder();
        }
        break;
    case '\"':
        inQuotes = !inQuotes;
    default:
        b.append(c);
    break;
    }
}
tokensList.add(b.toString());
long timeWithParsing = System.nanoTime() - start;

System.out.println(Arrays.toString(tokens));
System.out.println(tokensList.toString());
System.out.printf("Time with splitting:\t%10d\n",timeWithSplitting);
System.out.printf("Time with parsing:\t%10d\n",timeWithParsing);

Конечно, вы можете изменить переключатель на другое -в этом фрагменте, если вы чувствуете себя некомфортно с его уродством. Обратите внимание, что после переключения с разделителем отсутствует перерыв. StringBuilder был выбран вместо StringBuffer по дизайну, чтобы увеличить скорость, когда безопасность потоков не имеет значения.

4
ответ дан Marcin Kosinski 22 August 2018 в 03:16
поделиться
  • 1
    Интересный момент относительно разделения времени и разбора. Однако утверждение № 2 неточно. Если вы добавите -1 к методу split в ответе Барта, вы поймаете пустые строки (включая пустые строки после последней запятой): line.split(regex, -1) – Peter 28 March 2015 в 11:39
  • 2
    +1, потому что это лучшее решение проблемы, для которой я искал решение: синтаксический анализ сложной строки параметров HTTP POST – varontron 30 April 2017 в 02:36

Попробуйте lookaround , например (?!\"),(?!\"). Это должно соответствовать ,, которые не окружены ".

2
ответ дан Matthew Sowders 22 August 2018 в 03:16
поделиться
  • 1
    Довольно уверен, что это сломается для списка, например: «foo», bar, «baz». – Angelo Genovese 30 May 2013 в 23:57
  • 2
    Я думаю, вы имели в виду (?<!"),(?!"), но он все равно не сработает. Учитывая строку one,two,"three,four", она правильно соответствует запятой в one,two, но она также соответствует запятой в "three,four" и не соответствует одному в two,"three. – Alan Moore 19 May 2014 в 16:04
  • 3
    Это нормально работает для меня, ИМХО. Я думаю, что это лучший ответ из-за его более короткого и более легко понятного – Ordiel 12 January 2017 в 19:25

Вместо того, чтобы использовать lookahead и другое сумасшедшее регулярное выражение, сначала вытащите кавычки. То есть для каждой группировки котировок замените эту группировку на __IDENTIFIER_1 или какой-либо другой индикатор и сопоставьте эту группировку с картой строки, строки.

После разделения на запятую замените все сопоставленные идентификаторы на исходные значения строк.

0
ответ дан Stefan Kendall 22 August 2018 в 03:16
поделиться
  • 1
    и как найти цитаты без сумасшедшего регулярного выражения? – Kai Huppmann 18 November 2009 в 17:22
  • 2
    Для каждого символа, если символ является цитатой, найдите следующую цитату и замените ее группировкой. Если нет следующей цитаты, сделайте это. – Stefan Kendall 18 November 2009 в 17:48
Другие вопросы по тегам:

Похожие вопросы: