В версии 1 fancyBox был параметр overlayColor, но во вроде уже работает.
overlayColor
Редактирование CSS не работает, потому что он перезаписывается JavaScript в плагине.
Есть идеи?