Я понял легкое решение:
Просто измените значение bodyBitMask тела на 0 или неиспользованное значение сразу после обнаружения контакта.
Например:
if (firstBody.categoryBitMask == padCategory && secondBody.categoryBitMask == colorBallCategory) {
secondBody.categoryBitMask = 0;
// DO OTHER THING HERE
}