Лучший способ проанализировать Пространство Разделенный текст

Microsoft. VisualBasic. Пространство имен FileIO (в Microsoft.VisualBasic.dll) имеет TextFieldParser, который можно использовать для разделения на разграниченном тексте пространства. Это обрабатывает строки в кавычках (т.е. "это - один маркер" thisistokentwo), хорошо.

Отметьте, просто потому что DLL говорит, что VisualBasic не подразумевает, что можно только использовать его в проекте VB. Его часть всей Платформы.

Craig прав — используют регулярные выражения. Regex. Разделение может быть более кратким для Ваших потребностей.

Существует подход конечного автомата.

    private enum State
    {
        None = 0,
        InTokin,
        InQuote
    }

    private static IEnumerable<string> Tokinize(string input)
    {
        input += ' '; // ensure we end on whitespace
        State state = State.None;
        State? next = null; // setting the next state implies that we have found a tokin
        StringBuilder sb = new StringBuilder();
        foreach (char c in input)
        {
            switch (state)
            {
                default:
                case State.None:
                    if (char.IsWhiteSpace(c))
                        continue;
                    else if (c == '"')
                    {
                        state = State.InQuote;
                        continue;
                    }
                    else
                        state = State.InTokin;
                    break;
                case State.InTokin:
                    if (char.IsWhiteSpace(c))
                        next = State.None;
                    else if (c == '"')
                        next = State.InQuote;
                    break;
                case State.InQuote:
                    if (c == '"')
                        next = State.None;
                    break;
            }
            if (next.HasValue)
            {
                yield return sb.ToString();
                sb = new StringBuilder();
                state = next.Value;
                next = null;
            }
            else
                sb.Append(c);
        }
    }

Это может легко быть расширено для вещей как вложенные кавычки и выход. Возврат как IEnumerable<string> позволяет Вашему коду только анализировать столько, сколько Вам нужно. Нет никаких реальных оборотных сторон к такому ленивому подходу, поскольку строки неизменны, таким образом, Вы знаете это input движение не должно изменяться перед парсингом всего этого.

См.: http://en.wikipedia.org/wiki/Automata-Based_Programming

Вы также могли бы хотеть изучить регулярные выражения. Это могло бы выручить Вас. Вот образец, сорванный из MSDN...

using System;
using System.Text.RegularExpressions;

public class Test
{

    public static void Main ()
    {

        // Define a regular expression for repeated words.
        Regex rx = new Regex(@"\b(?<word>\w+)\s+(\k<word>)\b",
          RegexOptions.Compiled | RegexOptions.IgnoreCase);

        // Define a test string.        
        string text = "The the quick brown fox  fox jumped over the lazy dog dog.";

        // Find matches.
        MatchCollection matches = rx.Matches(text);

        // Report the number of matches found.
        Console.WriteLine("{0} matches found in:\n   {1}", 
                          matches.Count, 
                          text);

        // Report on each match.
        foreach (Match match in matches)
        {
            GroupCollection groups = match.Groups;
            Console.WriteLine("'{0}' repeated at positions {1} and {2}",  
                              groups["word"].Value, 
                              groups[0].Index, 
                              groups[1].Index);
        }

    }

}
// The example produces the following output to the console:
//       3 matches found in:
//          The the quick brown fox  fox jumped over the lazy dog dog.
//       'The' repeated at positions 0 and 4
//       'fox' repeated at positions 20 and 25
//       'dog' repeated at positions 50 and 54

[^\\t] + \t | "[^"] + "\t

использование Regex определенно похоже на лучший выбор, однако этот просто возвращает целую строку. Я пытаюсь настроить его, но не много удачи до сих пор.

string[] tokens = System.Text.RegularExpressions.Regex.Split(this.BuildArgs, @"[^\t]+\t|""[^""]+""\t");