Параллель. Foreach, порождающий слишком много потоков

Проблема

Хотя код, о котором я буду говорить здесь, я записал в F#, он основан на.NET 4 платформы, не конкретно в зависимости от любой особенности F# (по крайней мере, это кажется так!).

У меня есть некоторые части данных по моему диску, который я должен обновить из сети, сохранив последнюю версию к диску:

type MyData =
    { field1 : int;
      field2 : float }

type MyDataGroup =
    { Data : MyData[];
      Id : int }

// load : int -> MyDataGroup
let load dataId =
    let data = ... // reads from disk
    { Data = data;
      Id = dataId }

// update : MyDataGroup -> MyDataGroup
let update dg =
    let newData = ... // reads from the network and process
                      // newData : MyData[]

    { dg with Data = dg.Data
                     |> Seq.ofArray
                     |> Seq.append newData
                     |> processDataSomehow
                     |> Seq.toArray }

// save : MyDataGroup -> unit
let save dg = ... // writes to the disk

let loadAndSaveAndUpdate = load >> update >> save

Проблема - это к loadAndSaveAndUpdate все мои данные, я должен был бы много раз выполнять функцию:

{1 .. 5000} |> loadAndSaveAndUpdate

Каждый шаг сделал бы

• некоторый диск IO,
• некоторое уплотнение данных,
• некоторая сеть IO (с возможностью большого количества задержки),
• больше уплотнения данных,
• и некоторый диск IO.

Разве не было бы хорошо сделать это параллельно, до некоторой степени? К сожалению, ни одно из моего чтения и парсинга функций не является "async-workflows-ready".

Первые (не очень хорошие) решения я придумал

Задачи

Первая вещь, которую я сделал, состояла в том, чтобы настроить a Task[] и запустите их всех:

let createTask id = new Task(fun _ -> loadAndUpdateAndSave id)
let tasks = {1 .. 5000}
            |> Seq.map createTask
            |> Seq.toArray

tasks |> Array.iter (fun x -> x.Start())
Task.WaitAll(tasks)

Затем я поразил CTRL+ESC только для наблюдения, сколько потоков он использовал. 15, 17..., 35..., 170..., пока не уничтожено приложение! Что-то шло не так, как надо.

Параллель

Я сделал почти то же самое, но использование Parallel.ForEach(...) и результатами было то же: партии и партии и много потоков.

Решение, которое работает... отчасти

Затем я решил запуститься только n потоки, Task.WaitAll(of them), затем другой n, до больше не было доступных задач.

Это работает, но проблема - это, когда она закончила обрабатывать, скажем, n-1 задачи, это будет ожидать, ожидать, ожидать проклятой последней Задачи, которые настаивают на том, чтобы блокироваться из-за большого количества сетевой задержки. Это не хорошо!

Так, как Вы принялись бы за решение этой проблемы? Я ценил бы для просмотра различных решений, включая любой Асинхронные Рабочие процессы (и в этом случае как адаптировать мои неасинхронные функции), Параллельные Расширения, странные параллельные шаблоны, и т.д.

Спасибо.