Цена настаивания почти абсолютном назад совместимость просто слишком высока. Проведите две минуты, программируя в C++, если Вы хотите видеть почему.
Да, вам нужно загрузить его в отдельный AppDomain, а затем выгрузить весь AppDomain.