Освободите память из больших структур данных в C #

У меня есть несколько структур SortedList <> и SortedDictionary <> в моем коде моделирования, и я добавляю миллионы элементов в них со временем. Проблема в том, что сборщик мусора не освобождает память достаточно быстро, поэтому производительность приложения сильно снижается. Моим последним вариантом было задействовать метод GC.Collect () , чтобы я мог вернуть эту память. У кого-нибудь есть другая идея? Мне известен шаблон Легковес , который является еще одним вариантом, но я был бы признателен за другие предложения, которые не потребуют значительного рефакторинга моего кода.