Работа с фрагментацией в пуле памяти?

Предположим, у меня есть объект пула памяти с конструктором, который принимает указатель на большой кусок памяти ptr и размер N. Если я выполняю много случайных распределений и освобождений различных размеров, я могу получить память в таком состоянии, что я не могу выделить M-байтовый объект непрерывно в памяти, даже если там может быть много свободного! В то же время я не могу сжать память, потому что это приведет к зависанию указателя на потребителях. Как разрешить фрагментацию в этом случае?