Существует ли более быстрый способ просканировать через каталог рекурсивно в.NET?

Это довольно мелкий, 371 каталог со средним числом 10 файлов в каждом каталоге. некоторые каталоги содержат другие суб-каталоги

Это просто комментарий, но ваши цифры действительно довольно высоки. Я запустил приведенное ниже, используя, по сути, тот же рекурсивный метод, который вы используете, и мое время намного меньше, несмотря на создание вывода строки.

    public void RecurseTest(DirectoryInfo dirInfo, 
                            StringBuilder sb, 
                            int depth)
    {
        _dirCounter++;
        if (depth > _maxDepth)
            _maxDepth = depth;

        var array = dirInfo.GetFileSystemInfos();
        foreach (var item in array)
        {
            sb.Append(item.FullName);
            if (item is DirectoryInfo)
            {
                sb.Append(" (D)");
                sb.AppendLine();

                RecurseTest(item as DirectoryInfo, sb, depth+1);
            }
            else
            { _fileCounter++; }

            sb.AppendLine();
        }
    }

Я запустил приведенный выше код для ряда различных каталогов. На моей машине второй вызов для сканирования дерева каталогов обычно выполнялся быстрее из-за кэширования как во время выполнения, так и в файловой системе. Обратите внимание, что эта система не является чем-то особенным, это всего лишь 1-летняя рабочая станция для разработки.

// cached call
Dirs = 150, files = 420, max depth = 5
Time taken = 53 milliseconds

// cached call
Dirs = 1117, files = 9076, max depth = 11
Time taken = 433 milliseconds

// first call
Dirs = 1052, files = 5903, max depth = 12
Time taken = 11921 milliseconds

// first call
Dirs = 793, files = 10748, max depth = 10
Time taken = 5433 milliseconds (2nd run 363 milliseconds)

Обеспокоенный тем, что я не получил дату создания и изменения, код был изменен, чтобы вывести это также в следующие моменты времени.

// now grabbing last update and creation time.
Dirs = 150, files = 420, max depth = 5
Time taken = 103 milliseconds (2nd run 93 milliseconds)

Dirs = 1117, files = 9076, max depth = 11
Time taken = 992 milliseconds (2nd run 984 milliseconds)

Dirs = 793, files = 10748, max depth = 10
Time taken = 1382 milliseconds (2nd run 735 milliseconds)

Dirs = 1052, files = 5903, max depth = 12
Time taken = 936 milliseconds (2nd run 595 milliseconds)

Примечание. Класс System.Diagnostics.StopWatch используется для синхронизации.

Я бы использовал или основывал себя на этой многопоточной библиотеке: http://www.codeproject.com/KB/files/FileFind.aspx

В зависимости от того, сколько времени Вы пытаетесь сбрить функцию, это может стоить Вашего, в то время как назвать API-функции Win32 непосредственно, так как существующий API делает большую дополнительную обработку для проверки вещей, которыми Вы не можете интересоваться.

Если Вы поэтому уже не сделали, и предположение, что Вы не намереваетесь способствовать Моно проекту, я настоятельно рекомендовал бы загрузить Отражатель и взглянуть на то, как Microsoft реализовала вызовы API, которые Вы в настоящее время используете. Это даст Вам общее представление о том, что необходимо назвать и что можно не учесть.

Вы могли бы, например, решить создать итератор это yields имена каталогов вместо функции, которая возвращает список, тот способ, которым Вы не заканчиваете тем, что выполнили итерации по тому же списку имен два или три раза через все различные уровни кода.

попробуйте это (т.е. сделайте инициализацию сначала и затем снова используйте Ваш список и Ваши объекты directoryInfo):

  static List<Info> RecursiveMovieFolderScan1() {
      var info = new List<Info>();
      var dirInfo = new DirectoryInfo(path);
      RecursiveMovieFolderScan(dirInfo, info);
      return info;
  } 

  static List<Info> RecursiveMovieFolderScan(DirectoryInfo dirInfo, List<Info> info){

    foreach (var dir in dirInfo.GetDirectories()) {

        info.Add(new Info() {
            IsDirectory = true,
            CreatedDate = dir.CreationTimeUtc,
            ModifiedDate = dir.LastWriteTimeUtc,
            Path = dir.FullName
        });

        RecursiveMovieFolderScan(dir, info);
    }

    foreach (var file in dirInfo.GetFiles()) {
        info.Add(new Info()
        {
            IsDirectory = false,
            CreatedDate = file.CreationTimeUtc,
            ModifiedDate = file.LastWriteTimeUtc,
            Path = file.FullName
        });
    }

    return info; 
}