Вы были прав, чтобы посмотреть на свойство шкалы, но оно переключается на 1, а не на нуль.
- (BOOL) pinchWasOutwards:(UIGestureRecognizer *)gestureRecognizer { return gestureRecognizer.scale > 1; }