Вы можете выгрузить ClassLoader, но вы не можете выгружать определенные классы. Более конкретно, вы не можете выгружать классы, созданные в ClassLoader, который не находится под вашим контролем.
Если возможно, я предлагаю использовать свой собственный ClassLoader, чтобы вы могли его выгружать.