Для Mac OSX мне пришлось делать
tar -zcv --exclude='folder' -f theOutputTarFile.tar folderToTar
Обратите внимание на -f после --exclude=
-f
--exclude=