Вы, кажется, хотите:
select count(*), count(distinct column2)
from t
group by column1;
Этот документ Утечек памяти Поиска и устранения неисправностей от Sun может помочь Вам с нахождением проблемы почему Ваш высокий RSS, особенно в разделе 3.4.
Поскольку Вы выполняете Websphere, возможно, можно использовать-memorycheck на VM. Для получения дополнительной информации посмотрите здесь.
Это - не обязательно утечка в собственном коде. Если Вы смотрите здесь, на Солярисе могла бы быть проблема с файлами, сохраняемыми открытыми.
Это - просто набор ссылок и подсказок, но возможно полезный для разыскивания проблемы.
Вы пользуетесь библиотеками JNI? Я не уверен, как собственный код выделяет RAM, но это - то, где я начал бы смотреть.
OS размера "кучи" размер "кучи" Java, существует все еще VM и другие библиотеки, которые являются частью процесса.
Попытайтесь выполнить Привет Мир с размером "кучи" на 1024 м и "для (; ;)" в нем и видят, сколько это поднимает. Это должно дать Вам базовую линию для полного использования памяти.