Работает ли umbraco на моно?

Вероятно, необходимо установить флаг-Xmx512m или некоторое большее число когда стартовый Java. Я думаю, что 64 МБ являются значением по умолчанию.

Отредактированный для добавления: после выяснения, сколько памяти объекты на самом деле используют с профилировщиком, можно хотеть изучить слабые ссылки или мягкие ссылки, чтобы удостовериться, что Вы случайно не держите часть в заложниках своей памяти из сборщика "мусора", когда Вы больше не используете их.