Для части линейной алгебры Math.NET - особенно Math.NET Numerics - может быть вариантом.
Не уверен, есть ли у него порт .NET, но Open Geometry может помочь.