Регулярное выражение с использованием Ruby (версия 1.9.3 или выше):
/(?\((?:\g|[^()]++)*\))/
Демо на rubular