После того, как я обновился до DotNet 4.5, запрос начал выдавать OutOfMemoryExceptions.
(дистиллированный )запрос::
var tests = new int[]{}
.AsParallel()
.GroupBy(_ => _)
.Take(int.MaxValue)
.ToArray();
Я публикую это для тех, у кого такая же проблема. Я отвечу ниже.